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《驾驶 员 视 觉 分 散 特征 识别 及 检测 方法 》 一 书 从 视觉 分 散 对 驾驶 员 轰 
驶 能 力 的 影响 研究 入手， 开展 驾驶 员 视 觉 分 散 检 测 技术 的 研究 ， 并 重点 研 
究 基 于 视频 图 像 分 析 的 驾驶 员 视 觉 分 散 特征 的 提取 方法 。 具 体内 容 包 括 : 
研究 视觉 分 散 对 驾驶 性 能 的 影响 ;研究 多 姿势 下 驾驶 员 面 部 、 面 部 特征 点 
精确 定位 的 方法 ; 研究 驾驶 员 面 部 姿势 的 提取 方法 ， 提 出 利用 核 主 元 分 析 
估计 驾驶 员 面 部 姿势 的 方法 ; 研究 驾驶 员 视 线 方 向 提取 方法 ， 提 出 基于 
Multi- PCA (多 主 元 分 析 ) 的 视线 方向 估计 方法 ; 研究 PCA 实现 原理 ， 分 
析 常 用 PCA 应 用 于 识别 时 存在 的 问题 ; 研究 驾驶 员 转 向 行为 识别 ， 提 出 
根据 手 部 位 置 标准 差 来 识别 驾驶 员 转 向 行为 的 方法 。 

本 书 适合 从 事 汽 车 设计 、 汽 车 理论 研究 等 工作 的 技术 人 员 阅 读 参 考 ， 
也 适合 车 辆 工程 等 专业 的 研究 生 学 习 。 
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据 不 完全 统计 ， 全 世界 每 年 约 有 60 万 人 死 于 交通 事故 ， 约 1000 万 人 受 
伤 ， 其 中 驾驶 员 注 意 分 散 是 引起 汽车 交通 事故 的 重要 原因 ， 占 撞车 事故 的 
25% ~37% 。 相 关 研 究 表明 ， 轰 驶 员 注 意 分 散 的 频率 与 发 生 事故 的 概率 具有 
很 高 的 相关 性 (相关 系数 为 0.72) ， 相 比较 于 正常 情况 下 ,驾驶 员 分 心 时 
(如 拨打 电话 ) 发 生 事故 的 概率 将 提高 3 倍 。 

驾驶 员 视 觉 分 散 研 究 是 驾驶 员 注 意 分 散 研 究 的 一 个 重要 组 成 部 分 ， 在 最 
初 的 研究 中 没有 详细 分 类 注意 分 散 的 类 型 ， 而 是 把 所 有 的 类 型 统称 为 注意 分 
散 。 轰 驶 员 视 觉 分 散 是 众多 交通 事故 的 诱因 ， 并 且 随 着 车 载 信息 系统 的 增 
加 ， 将 会 引起 驾驶 员 越 来 越 多 的 视觉 分 散 行为 ， 从 而 引发 更 多 的 交通 事故 。 
检测 驾驶 员 视 觉 分 散 并 警告 驾驶 员 ， 可 减少 类 似 原因 造成 的 交通 事故 。 

本 书 从 视觉 分 散 对 区 驶 员 驾 驶 能 力 的 影响 研究 人 手 ， 开 展 驾 驶 员 视 觉 分 
散 检 测 技术 研究 ， 并 重点 研究 基于 视频 图 像 分 析 的 驾驶 员 视 觉 分 散 特 征 的 提 
取 方 法 。 主 要 内 容 包括 : 

(1) 设计 实验 让 驾驶 员 阅 读 4 处 位 置 上 的 2 类 文本 信息 ， 使 其 产生 8 种 
不 同 的 视觉 分 散 。 分 析 驾 驶 员 观 察 不 同位 置 处 视觉 分 散 时 车 辆 的 SDLP ( 偏 
离 道 路 中 心 距离 的 标准 差 )， 以 研究 视觉 分 散 对 驾驶 性 能 的 影响 。 根 据 驾 驶 
过 程 中 驾驶 员 视 线 变 化 的 特点 ， 建 立 基 于 驾驶 员 面 部 姿势 与 视线 方向 识别 ， 
并 包含 转向 行为 识别 的 视觉 分 散 检测 模型 。 

(2) 研究 多 姿势 下 鸭 驶 员 面 部 特征 点 精确 定位 的 方法 。 研 究 利 用 肤色 混 
合 高 斯 模型 预定 位 人 脸 区 域 ， 然 后 根据 眉毛 、 嘴 展位 置 精确 定位 驾驶 员 面 部 
的 方法 。 针 对 眉毛 区 域 灰 度 值 低 、 变 化 剧烈 的 特点 ， 人 研究 基于 联合 投影 函数 
定位 驾驶 员 眉 毛 上 边缘 的 方法 。 研 究 背景 滤 除 的 方法 ， 克 服 面部 横 摆 角度 较 
大 时 眉毛 定位 不 准 的 缺点 。 人 研究 利用 层 色 多 项 式 模型 及 嘴唇 比 人 脸 肤 色 更 红 
的 特点 定位 驾驶 员 嘴 展区 域 下 边缘 。 
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(3) We St D DAA PETE, PEAK Esco i hg Be D 
面部 姿势 的 方法 。 研 究 获取 标准 样本 图 像 的 方法 ， 设 计 样 本 图 像 采 集 系 统 。 
利用 核 主 元 分 析 把 高 维 面 部 图 像 存 在 的 流 形 结构 租 入 到 二 维 空间 ， 建 立 估 计 
面部 姿势 的 标准 曲线 。 根 据 姿势 曲线 拟 合 圆 ， 提 出 利用 拟 合 圆心 及 姿势 曲线 
上 与 新 投影 点 最 近 的 2 个 点 ， 来 估计 新 投影 图 像 对 应 角度 的 方法 ， 估 计 精 度 
可 满足 一 定 实际 需要 。 

(4) 研究 驾驶 员 视 线 方向 提取 方法 ， 提 出 基于 Multi- PCA (多 主 元 分 析 ) 
的 视线 方向 估计 方法 。 针 对 驾驶 环境 中 精确 提取 视线 方向 的 困难 ， 把 视线 方向 
分 为 5 类 (E. PY AY AY BW), 为 每 种 视线 方向 的 图 像 建立 特征 空间 ， 利 
用 主 元 分 析 提 取 每 类 视线 的 共有 的 统计 特征 ， 再 根据 测试 样本 在 每 类 特征 空间 
下 的 重 构 误 差 来 进行 分 类 。 该 方法 充分 运用 了 PCA 变换 的 最 佳 通 近 性 能 ， 并 提 
取 每 类 视线 图 像 的 独 有 特征 ， 实 验 结果 表明 该 方法 可 以 获得 更 高 的 识别 准确 率 。 

(5) 研究 驾驶 员 转 向 行为 识别 ， 提 出 根据 手 部 位 置 标准 差 来 识别 驾驶 员 
转向 行为 的 方法 。 芍 驶 员 在 十 字 路 口 处 的 转向 过 程 中 ， 视 线 方向 偏离 车 辆 前 
方 的 时 间 将 超过 2s， 检 测 系统 会 误 认 为 是 视觉 分 散 。 研 究 驾 驶 员 驾 驶 过 程 中 
双手 位 置 变化 的 特点 ， 根 据 转向 过 程 中 驾驶 员 手 部 位 置 变化 剧烈 的 特性 ， 提 
出 利用 双手 位 置 标准 差 识别 驾驶 员 转 向 行为 的 方法 ， 以 防止 将 驾驶 员 转 弯 行 
为 误 判 为 视觉 分 散 。 

(6) 研究 结构 化 道路 的 检测 方法 。 提 出 基于 领域 主 成 分 分 析 法 的 道路 图 
像 平滑 方法 。 为 增强 道路 图 像 对 比 度 ， 作 者 提出 基于 Sin 函数 的 图 像 拉 伸 曲 
Ae; 提出 图 像 分 区 垂直 积分 投影 的 车 道 线 检测 方法 ; 针对 投影 曲线 平滑 后 曲 
线 轮廓 易 改 变 的 缺点 ， 提 出 新 平滑 方法 ， 该 方法 能 在 保持 原始 投影 曲线 形状 
基本 不 变 的 前 提 下 进行 平滑 。 作 者 研究 了 和 车道 线 边缘 点 的 调整 方法 ， 以 便 能 
更 加 精确 地 检测 出 车 道 线 边缘 。 为 提取 车 道 标 志 线 的 特征 参数 ， 采 用 最 小 二 
乘法 对 车 道 线 进行 边缘 拟 合 。 

(7) 驾驶 疲劳 作为 视觉 分 散 的 特殊 情况 ， 本 书 采 用 多 信息 融合 技术 对 轰 
驶 员 疲 劳 进行 检测 。 根 据 采集 信息 特点 ， 采 用 分 布 式 信息 融合 结构 ， 在 决策 
级 根据 粗糙 集 理论 进行 驾驶 员 疲 劳 信 息 融 合 判 断 。 针 对 粗糙 集 理 论 的 要 求 ， 
研究 条 件 属性 的 离散 归 一 化 问题 ， 建 立 单个 检测 特征 量 与 驾驶 员 疲 劳 程度 之 
间 的 量化 关系 ， 研 究 数 据 的 约 简 方法 ， 得 出 最 小 决策 算法 ， 通 过 决策 算法 判 
Wr db n REOS TRE o 

由 于 著者 水 平 有 限 ， 书 中 不 足 之 处 ， 敬 请 读者 批评 指正 。 
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1.1. 研究 背景 及 意义 


1.1.1 研究 背景 


据 不 完全 统计 ， 全 世界 每 年 约 有 60 万 人 死 于 交通 事故 ， 约 1000 万 人 在 交通 
事故 中 受伤 5 。 近 几 年 ， 我 国 每 年 约 有 10 万 人 死 于 车 祸 ， 而 车 祸 造 成 的 直接 经 


济 损失 每 年 约 有 20 亿 元 2 ， 统 计 结 果 如 表 1-1 所 示 。 
表 1-1 我 国 交通 事故 统计 





年 tt 事故 次 数 /( 万 次 ) 死亡 人 数 /( 万 人 ) 直接 经 济 损失 /( 亿 元 ) 
2006 37. 88 8. 95 14.9 
2007 32.72 8.16 12.0 
2008 26. 52 7.35 10.1 
2009 23. 83 6. 78 9.1 
2010 39. 06 6. 52 9.3 
2011 21. 08 6. 24 10. 8 
2012 20. 42 6. 00 11.7 











根据 欧洲 及 美国 的 统计 数据 发 现 ， 交 通 事故 中 的 80% ~ 90% 是 人 为 因素 造 
成 的 ， 并 且 约 有 85% 的 事故 是 由 于 各 驶 员 的 原因 造成 的 ， 车 辆 本 身 的 因素 引起 
的 事故 约 为 10% ， 而 环境 因素 造成 的 事故 也 仅 占 5% 左右 。 

美国 国家 公路 交通 安全 管理 局 (NHTSA) 与 美国 弗吉尼亚 州 科技 运输 协会 





(VTTI) T 2006 4E 4 H 20 日 发 布 一 个 调查 报告 ， 称 驾驶 员 注 意 分 散 是 大 部 分 事 
故 和 近 距 离 碰 撞 的 主要 因素 ， 其 中 80% 的 碰撞 和 65% 的 几乎 碰撞 (Near Crash) 
都 与 驾驶 员 注 意 分 散 有 关 史 。 高 速 公 路 的 交通 事故 中 有 50% 以 上 是 由 于 驾驶 疲 











劳 ， 或 由 所 见 目 标 单调 而 造成 注意 分 散 、 其 至 打量 因 


等 原因 造成 的 5 。 日 本 学 








者 对 众多 交通 事故 进行 了 统计 研究 ， 发 现 驾 驶 员 注 意 分 散 是 众多 交通 事故 的 诱 
因 ， 占 到 诱因 总 数 的 36. 095 。 来 自 法 国 的 统计 表明 高 速 公路 上 1/3 的 交通 事 
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故 是 由 驾驶 员 注 意 分 散 引 起 的 所 «| NHTSA 公布 一 项 包括 723 次 碰撞 事故 原因 
的 调查 研究 ，1284 名 驾驶 员 与 这 些 事故 有 牵连 ， 其 中 22. 7% 的 碰撞 事故 是 由 轰 
驶 员 注 意 分 散 引 起 的 ， 结 果 如 表 1-2 所 示 。 


表 1-2 引发 交通 事故 诱因 的 百分比 














碰撞 事故 原因 占 总 数 百分比 (9) 
驾驶 员 注 意 分 散 22.7 
车 辆 速度 18.7 
驾驶 员 饮 酒 18.2 
敬 驶 员 感 知 错误 15.1 
芍 驶 员 决 策 错误 10.1 
芍 驶 员 能 力 限制 6.4 





Stutts/?! 等 分 析 了 由 警察 所 记录 的 1995-1999 年 之 间 发 生 在 美国 的 交通 事故 ， 
并 对 引起 注意 分 散 的 部 分 原因 进行 总 结 ， 发 现 驾 驶 员 因 观察 车 外 人 、 物 、 事 件 
等 而 引起 的 注意 分 散 占 总 数 的 29. 4% ， 分 析 结 果 如 表 1-3 所 示 。 


表 1-3 引起 驾驶 员 注 意 分 散 原因 的 百分比 



































引起 注意 分 散 原因 占 总 数 百 分 比 (%) 
车 外 人 、 物 、 事 件 29.4 
调节 收音 机 、CD 11.4 
车 内 其 他 人 10.9 
移动 物体 4.3 
车 内 其 他 设备 、 物 体 2.9 
调节 空调 、 车 辆 设备 2.8 
吃食 物 、 喝 饮料 1.7 
使 用 移动 电话 1.5 
吸烟 0.9 
其 他 注意 分 散 因素 25.6 
未 知 注意 分 散 8.6 














通过 以 上 分 析 发 现 ， 虽 然 各 研究 机 构 统计 结果 不 尽 相 同 ， 但 是 都 表明 驾驶 
员 注 意 分 散 是 交通 事故 一 个 重要 诱因 。 其 中 轰 驶 员 最 容易 发 生 的 注意 分 散 类 型 
是 视觉 分 散 "”; ， 并 且 随 着 车 载 信息 系统 的 增加 以 及 交通 环境 的 复杂 化 ， 引 起 轰 
驶 员 视 觉 分 散 的 因素 会 越 来 越 多 。 因 此 需要 对 多 驶 员 视 觉 分 散 进行 重点 研究 ， 
以 找 出 相应 解决 办 法 。 








1.1.2 研究 意义 


研究 驾驶 员 视 觉 分 散 ， 有 助 于 我 们 寻找 减少 其 影响 的 措施 ， 使 行车 更 加 安 
全 ; 或 者 研究 出 一 套 检测 驾驶 员 视 觉 分 散 的 系统 ， 在 必要 时 对 驾驶 员 进 行 警 告 ， 
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预防 此 类 交通 事故 ， 这 具有 重大 社会 意义 。 检 测 视觉 分 散 的 系统 能 够 应 用 在 多 
个 方面 ， 如 汽车 、 飞 机 的 驾驶 等 ， 只 要 操作 人 员 视 觉 分 散 将 引起 严重 后 果 的 场 
合 ， 都 可 以 应 用 该 技术 产品 。 可 以 预见 ， 如 果 这 样 的 系统 能 够 切实 有 效 地 工作 ， 
不 但 能 减少 人 员 伤亡 ， 而 且 能 避免 因此 产生 的 经 济 损失 。 

研究 并 检测 驾驶 员 视 觉 分 散 还 具有 理论 意义 。 研 究 驾 驶 员 视 觉 分 散 需要 运 
用 到 认 知 行为 方面 的 理论 ， 对 驾驶 员 认 知行 为 的 研究 必 将 促进 认 知 科学 的 发 
JEU 。 检 测 驾驶 员 视 觉 分 散 需 要 涉及 图 像 处 理 中 多 种 相关 算法 ， 因 此 该 方面 研 
究 可 以 促进 图 像 处 理 相 关 领 域 的 发 展 。 另 外 ， 检 测 驾 驶 员 视 觉 分 散 实 际 上 是 一 
种 状态 识别 ,许多 问题 是 模式 识别 中 长 期 以 来 部 没有 彻底 解决 的 问题 ， 并 且 已 
有 的 成 果 也 不 一 定 适合 检测 驾驶 员 的 要 求 ， 因 此 该 研究 还 可 以 促进 模式 识别 技 
ARAS AR , 


1.2. 驾驶 员 视 党 分 散 研 究 历程 


萄 怠 员 视觉 分 散 研 究 是 驾驶 员 注 意 分 散人 研究 的 一 个 重要 组 成 部 分 ， 在 最 初 
的 研究 中 没有 详细 分 类 注意 分 散 的 类 型 ， 而 是 把 所 有 的 类 型 统称 为 注意 分 散 。 
注意 分 散 与 驾驶 疲劳 一 样 ， 也 会 影响 驾驶 员 的 驾驶 性 能 。 和 驾驶 员 疲 劳 时 发 生 交 
通 事故 的 概率 要 比 正常 时 高 4~6 倍 ' 趾 ， 因 此 驾驶 疲劳 问题 更 容易 引起 人 们 的 关 
注 ， 国 内 外 学 者 也 对 该 问题 进行 了 较 深入 的 研究 。 但 随 着 驾驶 员 注 意 分 散 引 起 
交通 事故 的 增加 ， 人 们 逐渐 认识 到 驾驶 员 注 意 分 散人 研究 的 重要 性 。 

早 在 1915 年 人 们 就 认为 刊 水 器 的 单调 重复 动作 会 分 散 驾 驶 员 的 注意 力 。 到 
20 世纪 30 年 代 随 着 收音 机 设备 进入 驾驶 室 ， 人 们 也 逐渐 认识 到 该 设备 会 引起 轰 
驶 员 注意 分 散 ， 因 此 美国 许多 州 政府 要 禁止 其 应 用 ' 呈 ] 。 

而 真正 的 研究 则 开始 于 20 世纪 60 年 代 ， 如 研究 车 载 收 音 机 对 汽车 驾驶 员 心 
理 的 影响 等 ， 结 果 表 明 听 音乐 有 助 于 驾驶 员 更 平稳 地 操纵 汽车 "。 随 后 Brown 
又 研究 了 打 电 话 对 驾驶 能 力 的 影响 ,发 现 打 电话 时 区 驶 员 的 感知 判断 能 力 会 受 
到 不 利 影响 ， 出 现 错误 的 概率 将 增加 1.7% ~22. 296 5, 

随 着 信息 技术 在 汽车 上 的 应 用 越 来 越 广泛 ， 例 如 手机 "I、 导 航 '" I、 互联 
Py) 、 收 音 机 5 、CD 机 5 等 对 驾驶 能 力 的 影响 也 受到 重视 。 另 外 ， 与 新 技术 
无 关 的 事物 或 者 行为 ， 如 乘客 、 路 边 广 告 牌 与 指示 牌 、 驾 驶 员 自 身 行为 (吃食 
物 、 喝 饮料 、 吸 烟 ) 等 也 会 分 散 驾 驶 员 的 注意 力 '*”。 资 料 表 明 ， 由 于 驾驶 员 
在 行驶 过 程 中 饮食 时 引起 的 交通 事故 数量 比 打 电 话 时 发 生 的 交通 事故 量 高 
0.2% ， 因 为 驾驶 员 吃 东西 、 喝 饮料 发 生 的 概率 要 远大 于 驾驶 员 打 电话 的 
Wee, 

到 1990 年 前 后 开始 有 人 提出 减少 驾驶 员 注 意 分 散 的 措施 ， 如 出 台 相 关 法 律 
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”驾驶 员 视 觉 分 散 特征 识别 及 检测 方法 
等 (9] 1993 {F Leiser” 研究 在 车 内 使 用 语音 交互 的 信息 系统 ， 以 降低 驾驶 员 的 
注意 力 分 散 。 但 后 来 有 的 研究 认为 使 用 语音 交互 的 电子 邮件 会 使 驾驶 员 反 应 时 
间 延 长 30% ， 出 事故 的 概率 增加 3.5% ~ 38.5% ， 并 且 使 碰撞 时 的 速度 增加 
27.3% ~80.7% 2。 因此 ， 语 音 交 互 系统 对 减少 驾驶 员 注 意 分 散 的 作用 不 大 号 ] 。 

DEA 21 世纪 ， 则 有 越 来 越 多 的 研究 者 提出 对 驾驶 员 注 意 分 散 进行 检测 ， 以 
在 危险 情况 下 警告 驾驶 员 。 驾 驶 员 出 现 注意 分 散 时 主要 体现 在 眼睛 特征 、 生 理 
指标 〈 脑 电波 、 皮 肤 电导 率 ) 或 者 驾驶 能 力 参 数 (对 车 辆 速度 、 侧 向 位 移 、 转 
向 、 加 减速 等 进行 控制 ) 的 变化 上 ， 根 据 这 些 参数 的 变化 ， 研 究 者 开发 出 众多 
注意 分 散 检 测 办 法 。 如 2001 年 Waard 等 把 行车 参数 作为 判断 指标 ， 并 利用 神经 
网 络 综合 各 个 指标 来 识别 驾驶 员 是 否 在 使 用 移动 电话 ， 正 确 识 别 率 可 以 达 
到 89% 79. 

2005 年 Pettitt 等 为 了 研究 驾驶 员 注 意 分 散 的 统一 性 ， 对 驾驶 员 注 意 分 散 进 
行 了 详细 定义 ， 并 根据 殊 驶 员 受 影响 的 信息 指标 ， 把 驾驶 员 注 意 力 分 散 的 类 型 
定 为 : 视觉 、 认 知 、 身 体 、 听 觉 等 四 种 分 散 形式 '”1， 为 全 面 开 展 驾 驶 员 注 意 力 
分 散 研 究竟 定 了 基础 。 

国内 对 驾驶 员 注 意 分 散 的 研究 起 步 较 晚 ， 并 且 针 对 驾驶 员 视 觉 分 散 的 研究 
也 较 少 。 早 期 研究 主要 是 感性 的 ， 主 要 分 析 了 交通 事故 的 诱因 ， 真 正 研 究 开始 
于 21 世纪 。2004 年 前 后 吉林 大 学 的 王 荣 本 、 施 树 明 、 董 兵 亮 等 提出 检测 驾驶 员 
嘴 部 状态 来 识别 驾驶 员 注 意 分 散 的 方法 '*,”i。2004 年 5 月 ,我 国 出 台 了 新 的 交 
通 安全 法 ， 对 开车 打手 机 的 行为 做 了 严格 的 交通 法 律 、 法 规 限制 ， 罚 款 金额 达 
到 200 元 ,并 罚 扣 3 分 ， 以 减少 打手 机 引起 的 注意 分 散 。2005 年 Chen" 等 通过 
研究 使 用 车 内 信息 系统 对 轰 驶 员 视 觉 、 听 觉 、 精 神 等 的 影响 ， 发 现 使 用 这 些 设 
备 会 降低 驾驶 员 的 反应 速度 ， 更 重要 的 是 如 果 和 驾驶 员 出 现 听 觉 分 散 ， 那么 再 采 
用 一 个 声音 信号 警告 驾驶 员 的 话 会 使 他 的 反应 速度 变 得 更 慢 。Liut”'”| 等 通过 对 
12 位 驾驶 员 实 验 研究 发 现 ， 驾 驶 时 使 用 手机 会 使 驾驶 员 的 反应 时 间 增 加 11. 9% , 
行驶 速度 降低 5.8% 。Liu Ning'” 等 通过 在 驾驶 模拟 器 上 的 实验 研究 认为 驾驶 员 
对 前 方 车 辆 的 反应 时 间 、 驾 驶 员 的 心率 等 可 以 作为 评价 驾驶 注意 分 散 的 指标 。 


1.3 视觉 分 散 对 驾驶 能 力 影 响 研 究 现状 


表征 驾驶 能 力 的 工作 指标 主要 包括 : 和 车辆 偏离 道路 中 心 位 置 的 标准 差 
(SDLP- Stand Difference of Lane Position) 、 速 度 保持 和 控制 能 力 、 对 外 部 事件 的 
反应 时 间 、 和 车 距 保 持 、 劳 动 强度 、 对 安全 驾驶 参数 的 警惕 性 等 。 研 究 者 已 经 开 
发 出 许多 不 同 的 方法 来 研究 视觉 分 散 对 这 些 参 数 的 影响 。 
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1.3.1 评测 方法 


1.3.1.1 多 作业 分 析 

人 类 只 有 有 限 的 视觉 资源 用 来 处 理 各 种 作业 。 同 时 处 理 两 种 作业 时 ， 如 果 
两 种 作业 要 求 的 视觉 资源 超出 了 驾驶 员 总 的 视觉 资源 ， 那 么 分 配 到 某 个 作业 的 
视觉 资源 将 会 减少 5 。 对 驾驶 员 视 觉 分 散 来 说 ， 这 些 研究 主要 用 于 测试 某 个 车 
内 设备 对 驾驶 能 力 的 影响 ， 或 者 其 他 事物 对 驾驶 能 力 的 影响 ， 如 驾驶 员 与 乘客 
交谈 等 对 驾驶 车 辆 的 影响 ， 不 过 它 的 有 效 性 还 需 进 一 步 验 证 。 

1.3.1.2 眼睛 扫 视 研究 法 

鸭 驶 时 的 视觉 扫 视 行为 早 在 20 世纪 60 年 代 就 得 到 广泛 研究 。 测 试 视 觉 行为 
的 方法 有 有 眼睛 扫 视 记录 和 视线 遮蔽 技术 。 有 眼睛 扫 视 技术 通过 记录 眼睛 对 视野 内 
特定 物体 扫 视 的 频率 和 持续 时 间 来 测量 视觉 行为 。 在 驾驶 车 辆 时 ， 驾 驶 员 通 过 
一 系列 简短 (1-2s) 的 扫 视 来 完成 第 二 作业 。 有 眼睛 扫 视 技术 可 以 记录 眼睛 偏离 
道路 的 总 时 间 ， 也 就 是 完成 某 作业 需要 的 视觉 要 求 '。 视 线 偏离 道路 的 总 时 间 
是 一 个 被 广泛 接受 的 有 效 测 量 第 二 作业 视觉 需求 的 方法 。 可 以 应 用 视频 记录 仪 
来 记录 驾驶 员 的 眼睛 和 头 部 动作 。 通 过 分 析 记 录 的 视频 来 计算 眼睛 扫 视 数据 "1。 
当今 成 熟 的 跟踪 设备 已 经 能 实时 计算 眼睛 的 扫 视 路 径 、 眼 睛 闭合 时 间 、 头 部 转 












































动 等 。 

1.3.1.3 视觉 遮蔽 技术 

尽管 眼睛 跟踪 系统 很 先进 ， 但 是 这 些 系 统 也 很 昂贵 、 费 时 、 难 安装 、 难 校 
WE, Green * && T- 2001 年 提出 采用 视觉 遮蔽 技术 作为 眼睛 跟踪 系统 的 一 个 变 








通 。 该 技术 利用 一 个 眼 财 ， 以 不 同 的 时 间 间 隔 来 部 分 或 者 完全 遗 住 驾驶 员 眼 
睛 ,模拟 和 驾驶 时 驾驶 员 与 一 个 车 内 设备 交互 时 视线 在 道路 与 设备 间 的 转换 。 
由 于 视觉 遮 项 技术 的 成 本 小 有 旦 容易 实 施 ， 被 很 多 人 研究 者 认为 是 很 有 潜力 的 测 
试 方法 。 

1.3.1.4 15s 规则 

美国 汽车 工业 协会 (SAE) 根据 车 内 导航 系统 ， 发 布 一 个 注意 分 散 最 高 允 
许 水 平 的 标准 "1 。 标 准 认为 如 果 一 个 作业 在 静止 车 辆 上 能 在 15s 内 完成 ， 那 么 
这 种 作业 引起 的 驾驶 员 注 意 分 散 不 严重 ， 可 以 在 驾驶 时 完成 。 与 其 他 方法 相 比 ， 
此 标准 比较 简单 易 行 。 但 是 实验 发 现 ， 静 止 车 辆 上 完成 作业 的 时 间 与 运动 车 辆 
上 完成 的 时 间 没 有 相关 性 ， 因 此 该 标准 的 效果 不 是 很 好 's 。 并 且 该 规则 没有 考 
虑 到 速度 控制 、 目 标 检 测 等 作业 。 

1.3.1.5 建立 驾驶 员 认 知 模型 的 方法 

2001 4E Salvucci 7 提出 建立 驾驶 员 注 意 分 散 认 知 模型 ， 并 在 ACT- R 理论 
框架 下 仿真 注意 分 散 对 驾驶 能 力 的 影响 。 通 过 在 驾驶 模拟 器 上 验证 仿真 的 结果 ， 
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”驾驶 员 视 觉 分 散 特征 识别 及 检测 方法 
发 现 可 以 用 建立 模型 的 方法 来 评测 注意 分 散 对 驾驶 能 力 的 影响 。 该 方法 的 优点 
是 成 本 低 ， 不 需要 特殊 实验 设备 ， 但 是 建立 驾驶 员 模 型 比较 困难 ， 建 模 软 
件 一 一 ACT-R 不 容易 掌握 。 

这 些 评测 方法 都 有 各 自 的 优 缺点 。 到 底 应 用 哪 种 方法 合适 ， 主 要 取决 于 要 
评测 何 种 人 机 交互 界面 ， 特 别 是 该 种 行为 主要 影响 驾驶 员 的 哪个 方面 。 一 般 研 
究 中 不 使 用 15s 规则 ， 因 为 它 的 有 效 性 还 有 待 于 进一步 的 验证 。 


1.3.2 实验 方法 


1.3.2.1 实 车 实验 法 

研究 视觉 分 散 对 驾驶 能 力 影响 的 最 直接 方法 ， 是 在 道路 上 采集 实际 车 辆 行 
驶 数据 ， 该 方法 要 求 受 试 人 员 在 道路 上 驾驶 车 辆 ， 并 完成 各 种 视觉 分 散 的 作业 ， 
车 辆 上 安装 自动 收集 表明 驾驶 能 力 数据 的 仪器 。 然 后 ， 将 收集 的 数据 与 基准 数 
据 进 行 比较 ， 基 准 数据 通常 是 正常 驾驶 时 驾驶 员 的 表现 。 该 方法 采集 的 数据 来 
自 真实 环境 ， 因 此 比较 可 靠 ， 但 是 也 比较 耗 时 、 昂 贵 ， 因 此 很 少 用 来 测量 驾驶 
员 视觉 分 散 。 短 距离 测试 轨迹 的 方法 也 能 获得 真实 的 数据 ， 也 经 常用 来 测试 视 
d^) BOSE A IPSE 7] Sp] P7909 。 该 方法 让 受 试 者 在 一 条 测试 道路 或 者 封闭 道路 
上 驾驶 车 辆 。 通 过 自动 仪器 或 者 人 工 观察 收集 数据 ， 然 后 与 基准 数据 比较 。 此 
法 接近 真实 环境 ， 并 且 在 一 个 封闭 路 上 驾驶 降低 了 和 危险 性 "中 。 但 是 ， 操 作者 使 
用 仪器 的 熟练 性 和 人 工 记 录 的 准确 性 将 影响 测量 准确 性 。 

1.3.2.2 驾驶 模拟 器 实验 法 

芍 驶 模拟 器 能 让 受 试 者 在 一 个 相对 真实 并 且 安 全 的 环境 下 进行 测试 ， 因 此 
很 多 研究 者 应 用 驾驶 模拟 器 来 测试 视觉 分 散 。1999 年 Reed 7^" 等 应 用 驾驶 模拟 
器 对 驾驶 员 视 觉 分 散 进行 研究 ， 并 与 实 车 实验 的 结果 进行 比较 ， 认 为 驾驶 员 在 
实 车 与 驾驶 模拟 器 上 的 驾驶 能 力 表 现 相 同 。 模 拟 器 的 特性 不 同 会 影响 测量 的 真 
实 性 和 有 效 性 。 高 质量 的 模拟 器 能 提供 相对 真实 的 驾驶 环境 ， 具 有 布局 合理 的 
彩色 树木 、 建 筑 物 、 路 标 等 ， 并 能 使 车 辆 振动 、 播 摆 ， 以 给 驾驶 员 一 个 更 加 真 
实 的 驾驶 感觉 。 

相 比 在 道路 和 试车 跑道 上 的 实 车 实验 ， 驾 驶 模拟 器 具有 很 多 优势 。 例 如 ， 
敬 驶 模拟 器 更 安全 、 芍 驶 环境 更 容易 控制 、 改 造成 本 低 ， 并 且 容 易 收集 大 量 
代表 驾驶 能 力 的 参数 ， 如 速度 控制 、 侧 向 偏 移 ， 还 有 驾驶 员 的 眼 动 和 扫 视 行 
为 。 当 然 ， 轰 驶 模拟 吉 也 有 不 利 的 因素 。 模 拟 器 与 车 辆 的 不 同 会 影响 测试 结 
果 ， 并 且 驾 驶 员 在 了 解 模 拟 器 不 能 对 他 们 造成 伤害 的 前 担 下 ， 容 易 做 些 对 安 
全 驾驶 不 利 的 事情 ， 如 双手 离开 转向 盘 、 视 线 偏离 道路 场景 等 也 会 影响 实验 
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1.4 驾驶 员 视 党 分 散 检测 研究 现状 


驾驶 员 视 觉 分 散 是 影响 驾驶 能 力 的 最 主要 因素 ， 目 前 减少 驾驶 员 视 觉 分 散 
的 方法 大 体 有 : 

1) 开发 不 占用 视觉 信息 的 人 机 交互 界面 ， 如 研究 基于 语音 的 信息 交互 系 
统 。 但 基于 语音 的 电子 邮件 系统 仍 会 使 驾驶 员 出 事故 的 概率 增加 3.5% ~ 
38. 5% 0 ， 因 此 语音 交互 系统 对 减少 驾驶 员 视觉 分 散 的 作用 不 大 5] 。 

2) 建立 防止 视觉 分 散 的 法 规制 度 ， 比 如 禁止 安装 车 载 收 音 机 、 禁 止 芍 车 时 
使 用 手机 。 执 行 这 样 的 规定 ,虽然 可 以 减少 驾 强 员 视 觉 分 散 现 象 ， 但 也 损害 了 
其 有 益 用 处 。 如 驾驶 车 辆 时 听 音 乐 可 以 缓解 驾驶 员 的 疲劳 ， 在 紧急 情况 下 可 以 
使 用 手机 报警 。 并且， 有 人 研究 认为 在 交通 不 算 繁忙 的 高 速 公 路 上 打 电 话 并 不 
En] 25 dp 5A 025 b 86 7] 。 

3) 对 驾驶 员 的 注意 力 状态 进行 检测 ， 当 发 现 驾 驶 员 视 觉 不 集中 时 对 其 进行 
适当 预警 ， 将 其 注意 力 转 移 到 驾驶 过 程 中 。21 世纪 开始 ， 越 来 越 多 的 人 员 研 究 
轰 驶 员 状 态 检测 的 问题 。 
通过 检测 芍 驶 员 的 生理 指标 、 行 为 、 驾 驶 能 力 ， 可 以 判断 私 驶 员 是 否 发 生 
视觉 分 散 行 为 。 首 先 ， 驾 驶 员 发 生 视 觉 分 散 与 驾驶 能 力 指 标 (对 速度 、 侧 向 位 
移 、 转 向 、 加 减速 等 的 控制 ) 的 变化 有 很 强 相 关 性 5 。 例 如 ， 在 观察 驾驶 室内 
设备 时 会 使 平均 车 速 降低 5% ~ 20% ,使 车 辆 侧 偏 距离 的 标准 差 增 大 1096 以 上 ， 
并 且 会 使 驾驶 员 的 小 范围 内 变换 转向 的 频率 增加 10% AEA, Ob, ARTES E 
出 现 视觉 分 散 时 眼睛 特征 、 生 理 指标 〈 脑 电波 、 皮 肤 电 导 率 ) ,或 者 鸭 驶 能 力 的 
变化 规律 ， 可 以 识别 出 驾驶 员 是 否 出 现 视 觉 分 散 行 为 *|。 

玖 驶 员 视 觉 分 散 的 检测 可 以 分 为 3 个 步 台 ,参数 获取 、 状 态 判 断 、 发 出 
uH. 

1) 应 用 到 的 参数 主要 有 鸭 驶 员 特 征 、 行 车 参数 。 常 用 驾驶 员 特 征 主要 包括 
视线 方向 、 面 部 姿势 、 心 率 、 皮 肤 电导 率 等 ， 提 取 驾 驶 员 的 心率 或 者 皮肤 电导 
率 等 需要 与 驾驶 员 身 体 接触 的 设备 ， 会 造成 驾驶 员 的 不 适 。 因 此 人 们 一 般 采 用 
摄像 机 来 获取 驾驶 员 面 部 图 像 ， 再 采用 图 像 处 理 等 方法 来 提取 驾驶 员 的 视线 方 
向 或 者 面部 姿势 等 。 应 用 的 行车 参数 主要 有 车 速 、 转 向 角度 、 侧 向 位 移 、 加 
减速 等 ， 这 些 参数 需要 特定 的 传 感 右 来 测量 。 

2) 状态 判断 主要 是 区 分 驾驶 员 是 否 发 生 视觉 分 散 ， 可 以 根据 设 定 的 阔 值 直 
接 判 断 或 者 利用 数据 融合 法 判断 ， 采 用 的 融合 方法 有 HMM ( 隐 马 尔 科 夫 模 
型 ) ANNIS! (人 工 神经 网 络 ) SVM! (支持 向 量 机 ) 等 。 

3) 发 出 警告 是 在 检测 出 驾驶 员 视 觉 分 散 以 后 ， 采 用 声 、 光 或 者 振动 信号 使 
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Y 驾驶 员 视觉 分 散 特征 识别 及 检测 方法 


驾驶 员 的 视觉 注意 力 恢复 到 其 应 该 注意 的 地 方 ， 但 这 个 提醒 信号 不 能 加 深 驾 驶 
员 的 视觉 分 散 ' 4 。 
1.4.1 特定 作业 检测 


对 驾驶 员 视 觉 分 散 的 检测 开始 于 对 具体 行为 的 检测 ， 如 对 驾驶 员 使 用 手机 
的 检测 ， 并 在 研究 初始 阶段 统称 为 注意 分 散 检测 ， 图 1-1 列 出 部 分 比较 常见 的 注 
意 分 散 作业 。 











c) 调节 收音 机 


1-1. 部 分 注意 分 散 作 业 


2001 年 Waard' 把 驾驶 员 10s 内 的 行车 参数 (转向 盘 转角 、 加 速 踏板 位 置 、 
车 辆 的 侧 偏 距离 等 14 项 ) 作为 判断 依据 ， 并 利用 神经 网 络 综合 这 些 指标 来 识别 
驾驶 员 是 和 否 在 使 用 手机 ， 正 确 识别 率 为 89. 3% ， 但 误 识 率 较 高 (7. 1% ) Eden- 
borough' 5 根据 检测 驾驶 员 注 意 分 散 的 需求 ， 提 出 汽车 级 、 实 时 性 的 图 像 检 测 系 
统 所 应 满足 的 具体 条 件 ， 并 提取 了 驾驶 员 的 眼睛 特征 与 面部 姿势 。2004 年 前 后 ， 
吉林 大 学 的 王 荣 本 、 施 树 明 、 董 兵 亮 等 应 用 图 像 处理 获 取 驾 驶 员 嘴 部 特征 ， 然 
后 利用 BP 神经 网 络 判 断 驾 驶 员 是 否 在 讲话 '*””] 。Yamakita5 ^" 采用 图 像 处 理 的 
方法 获得 驾驶 员 视 线 方向 在 2 维 平面 上 分 布 变化 、 眶 眼 频 率 、 嘴 巴 状 态 ， 并 根 
据 3 项 参数 的 变化 来 判断 驾驶 员 是 否 在 打 电 话 ， 可 以 识别 出 3 种 影响 程度 不 同 的 
打 电 话 行为 ， 在 3 种 情况 下 的 正确 识别 率 可 达 90% ， 但 在 个 别 情况 下 会 低 于 
5096, 为 提高 图 像 处 理 的 速度 ， 并 且 便 于 检测 系统 在 驾驶 室内 的 安装 ， 
Moreno? 1 构造 了 基于 DSP 的 驾驶 员 状 态 检测 系统 框架 ， 可 以 实时 处 理 驾驶 员 面 
部 图 像 ， 但 是 没有 进行 具体 的 注意 分 散 检测 实验 。 图 像 处理 方 法 是 提取 驾驶 员 
参数 最 好 的 方法 之 一 ， 然 而 所 获取 图 像 的 质量 是 一 个 关键 性 因素 。 因 此 
Michimasa ^" 等 开发 了 一 个 可 以 代入 到 后 视 镜 里 面 的 图 像 传 感 器 ， 并 在 驾驶 模拟 
髓 中 进行 实验 ,证 明 采 集 的 图 像 可 满足 检测 驾驶 员 眼 睛 状态 的 要 求 。 

在 交叉 路 口 左 转向 时 发 生 的 碰撞 事故 主要 是 由 于 驾驶 员 没 有 注意 红色 交通 
信号 引起 的 。White'” 提出 利用 车 辆 在 交叉 路 口 处 的 速度 与 加 速 特性 对 驾驶 员 是 
否 注意 红 灯 进 行 检测 。 在 检测 到 驾驶 员 未 注意 红 灯 信 号 时 ， 提 出 利用 闪光 作为 
警告 使 驾驶 员 的 注意 力 集中 到 信号 灯 上 。 警 告 信 号 不 但 要 能 使 驾驶 员 意 识 到 自 
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己 发 生 注意 分 散 ， 还 要 能 把 注意 力 吸引 到 驾驶 员 应 该 注意 的 地 方 。Cristy'“| 研 究 
发 现 利用 空间 声音 信号 或 者 振动 触觉 的 警告 方法 ， 在 80% 的 情况 下 可 以 改变 驾 
驶 员 视 觉 注 意 方 向 到 指定 的 方位 。 

引起 驾驶 员 注 意 分 散 的 事物 各 式 各 样 ， 因 此 不 可 能 按 驾 驶 员 的 具体 行为 来 
检测 所 有 注意 分 散 ， 把 驾驶 员 注 意 分 散 按 一 定 规律 分 为 几 种 类 型 进行 检测 可 以 
解决 这 个 问题 。 根 据 注意 分 散 对 驾驶 员 不 同方 面 的 影响 ， 可 分 为 4 类 : 认 知 分 
散 、 视 觉 分 散 、 听 觉 分 散 、 身 体 分 散 ， 每 类 注意 分 散 的 影响 都 有 各 自 特点 。 认 
知 分 散会 使 芝 驶 员 的 视线 过 多 地 集中 于 道路 中 心 ， 使 驾驶 员 在 整个 视野 范围 内 
的 事件 检测 能 力 降 低 ， 但 是 对 行驶 路 线 的 控制 有 很 小 的 影响 。 而 视觉 分 散会 使 
驾驶 员 的 视线 过 多 偏离 前 方 道路 ,使 驾驶 员 不 能 很 好 地 保持 行驶 路 线 ， 并 且 反 
映 不 同形 式 注意 分 散 的 参数 也 不 相同 。2007 年 Poll?! 发 现 人 脸 朝向 可 以 反映 视 
觉 分 散 ， 而 认 知 分 散 主 要 可 由 眼睛 视线 方向 特征 反映 出 来 。 因 此 ， 可 以 对 驾驶 
员 不 同形 式 的 注意 分 散 进行 分 类 检测 ， 可 以 实现 大 范围 内 的 驾驶 员 注 意 分 散 检 
测 。 影 响 驾 驶 员 最 深 的 是 认 知 分 散 、 视 觉 分 散 ， 现 在 研究 也 主要 围绕 这 两 个 方 
面 进行 检测 。 


1.4.2 认 知 分 散 检 测 


驾驶 员 在 出 现 认 知 分 散 时 ， 视 线 方向 会 发 生 特定 变化 ， 眼 睛 在 Ss 内 扫 视 环 
境 的 次 数 将 会 由 7. 53 降低 到 6.72， 并 且 减 少 对 周围 环境 与 仪表 的 观测 ， 将 更 多 
地 注视 道路 中 心 15° 的 范围 之 内 9。 作为 对 认 知 作业 影响 的 补偿 ， 在 损害 周围 
视觉 的 代价 上 ， 驾 驶 员 会 增加 观察 道路 中 心 的 时 间 ， 并 在 空间 上 集中 视觉 焦点 
于 道路 中 心 。 鸭 驶 员 的 视线 变化 虽然 与 驾驶 环境 的 要 求 、 是 否 饮 酒 、 疲 务 程 度 
有 关 ， 但 视线 集中 于 道路 中 心 的 特点 与 认 知 分 散 具 有 很 强 的 相关 性 :7 了 7] 。 例 如 ， 
视线 在 水 平 与 垂直 方向 上 的 变化 范围 会 显著 降低 ， 更 长 时 间 盯 视 道 路 ， 观 察 仪 
表 、 后 视 镜 等 的 频率 都 有 所 降低 。 

Victor 5 等 研究 了 鸭 驶 员 出 现 认 知 分 散 时 视线 、 生 理 指标 、 侧 向 性 能 与 径 向 
参数 的 特点 。 听 觉 作 业 产 生 的 认 知 负担 会 使 区 驶 员 的 道路 保持 能 力 有 所 改进 ， 
因为 这 时 轰 驶 员 更 多 地 采取 微调 转向 盘 的 方法 。 另 外 ,还 发 现 听觉 作业 产生 的 
认 知 负担 多 于 视觉 负担 ， 也 会 导致 驾驶 员 更 多 地 观察 道路 中 心 。Victor 采用 在 一 
个 时 间 段 内 视线 集中 于 道路 中 心 的 时 间 来 识别 认 知 分 散 ， 并 在 集中 时 间 大 于 
92% 时 给 出 警告 〈 风 窗 玻 璃 出 两 道内 光 ) ， 并 且 认为 视线 角度 的 标准 差 对 检测 认 
知 分 散 更 敏感 些 。 

在 分 类 方法 上 ， 大 量 研究 发 现 SVM 分 类 方法 要 好 于 其 他 的 分 类 方法 。 如 
SAVE-IT (Safety Vehicle Using Adaptive Interface Technology) 项 目 研 究 发 现 SVM 
分 类 效果 要 好 于 HMM! 。AIDE (Adaptive Integrated Driver- vehicle Interface) 项 
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”驾驶 员 视 觉 分 散 特征 识别 及 检测 方法 
目 与 Kutila 都 采用 了 SVM DAWIE, JH Kutila 把 驾驶 员 的 视线 、 面 部 姿 
势 与 行车 参数 (道路 偏 移 ) 融合 到 一 起 对 驾驶 员 认 知 分 散 进行 识别 ， 识 别 率 可 
达 65% ~ 80% 。 

Liang!“ 等 利用 驾驶 员 驾 驶 过 程 中 一 段 时 间 内 的 眼睛 运动 特征 ( 扫 视 、 注 
视 等 )、 和 驾驶 特征 (注视 时 间 、 反 应 时 间 、 车 辆 偏离 道路 的 距离 、 转 问 盘 的 变化 
等 ) 的 19 个 参数 建立 Bayesian 神经 网 络 检测 模型 与 SVM 检测 模型 ， 发 现 SVM 
(检测 率 为 96.08% ) 的 检测 效果 要 好 于 Bayesian 神经 网 络 (检测 率 为 80. 1% )， 
并 且 SVM 的 训练 速度 也 比 Bayesian 神经 网 络 快 。 两 种 方法 都 力图 实现 实时 检测 
驾驶 员 认 知 分 散 ， 但 是 由 于 传感器 、 计 算 模 型 等 原因 未 能 实现 实时 检测 。 


1.4.3 视觉 分 散 检 测 


驾驶 员 视 觉 分 散 主要 指 驾 驶 员 视 线 侦 离 车 辆 前 方 的 行为 ， 在 这 里 区 驶 员 观 
测 后 视 镜 也 被 认为 是 一 种 视觉 分 散 行为 。Kutila ^ 对 驾驶 员 正常 状 态 与 视觉 分 散 
状态 下 的 视线 进行 深入 研究 ， 发 现 驾 驶 不 同型 号 车 辆 时 轰 驶 员 的 视线 范围 有 所 
^, fpa. 俯仰 角 的 变化 范围 是 -5" ~ 12"， 横 摆 
角 的 变化 范围 是 -10° ~8°。Hughes' 引 研究 发 现 驾 驶 员 视 线 售 仰角 与 横 摆 角 的 变 
化 范围 都 在 +t12° 内 ， 如 果 驾 驶 员 的 视线 方向 偏离 这 个 角度 范围 ， 则 认为 驾驶 员 
发 生 了 视觉 分 散 。 

Zhang'”| 通 过 研究 在 视觉 分 散 情 况 下 ， 驾 驶 员 在 驾驶 模拟 器 上 反应 时 间 、 行 
驶 路 线 等 表现 ， 发 现 驾 驶 员 视 线 偏离 的 持续 时 间 、 偏 离 的 角度 与 反应 时 间 、 路 
线 偏 离 的 标准 差 (SDLP- Standard Deviation of Lane Position) 之 间 有 很 强 相 关 性 。 
视线 偏离 的 持续 时 间 每 增加 25% ,驾驶 员 对 前 车 制 动 信号 的 反应 时 间 延 长 
0.395, SDLP 增 大 6em。 因 此 根据 驾驶 员 的 视线 偏离 与 持续 时 间 、 发 生 频 率 等 可 
以 判断 驾驶 员 是 否 发 生 视觉 分 散 ， 一 服 不 需要 采用 SVM 等 复杂 的 分 类 方法 。 

Batista ^" 提出 一 个 根据 视频 分 析 来 检测 驾驶 员 注 意 水 平 的 框架 ， 但 该 系统 
要 依赖 于 瞳孔 的 检测 ， 需 要 用 到 复杂 的 照明 设备 ， 因 此 不 容易 在 驾驶 室内 实现 。 
其 检测 瞳孔 的 主要 目的 是 跟踪 驾驶 员 的 面部 姿势 ， 并且 实验 中 仅 检 测 了 芍 驶 员 
的 疲劳 程度 。 

为 便于 检测 系统 在 驾驶 室内 实现 ，Smith' 趾 等 提出 利用 单个 摄像 机 检测 驾驶 
员 的 视觉 注意 。 首 先 ， 获 取 芝 驶 员 的 头面 部 图 像 ， 然 后 根据 眼睛 与 人 脸 边 缘 的 
距离 等 特征 提取 和 芍 驶 员 的 面部 姿势 以 及 视线 方向 ,得 到 的 姿势 与 视线 角度 不 是 
很 精确 ; 并 且 随 着 驾驶 员 眼 睛 状态 的 变化 ， 其 眼睛 的 特征 点 会 更 加 不 稳定 ， 因 
而 面部 姿势 的 估计 偏差 越 来 越 大 。 

芍 驶 员 在 变 道 时 要 转移 视线 来 提前 观察 对 应 道路 ， 因 此 容易 把 驾驶 员 此 时 
的 情况 误 判 为 危险 状态 。Lee'“] 等 提出 采用 两 个 摄像 机 分 别 获取 驾驶 员 视 线 方向 
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与 道路 方向 、 车 辆 行驶 方向 。 然 后 根据 视线 方向 与 道路 方向 的 关系 、 道 路 方向 
与 车 辆 行驶 方向 的 关系 判断 当时 驾驶 环境 的 危险 程度 ， 可 以 减少 变 道 时 的 误 判 。 
但 这 种 方法 在 车 辆 经 过 十 字 路 口 、T 字 路 口 而 转向 时 并 不 能 有 效 降 低 误 判 ， 因 为 
此 时 驾驶 员 需 要 较 多 地 观测 车 辆 两 侧 ， 而 在 这 样 的 路 口 并 没有 合适 的 分 道 线 来 
判断 车 辆 是 否 在 转向 。 因 此 ， 如 果 能 增加 一 个 驾驶 员 转 向 行为 识别 系统 ， 可 以 
进一步 提高 视觉 分 散 检测 率 。 


1.5 本 书 研究 方法 与 主要 内 容 


综合 前 面 驾驶 员 视 觉 分 散 研 究 的 现状 以 及 检索 到 的 文献 ， 可 以 看 出 当前 对 
驾驶 员 视觉 分 散 的 研究 多 集中 在 国外 ， 我 国 在 这 方面 的 研究 还 较 少 。 研 究 驾驶 
员 视 觉 分 散 的 目的 是 减少 视觉 分 散 对 驾驶 员 的 影响 ， 目 前 比较 可 行 的 方法 是 检 
测 驾驶 员 视觉 分 散 ， 以 给 出 适当 警告 。 检 测 驾 驶 员 视 觉 分 散 的 核心 是 提取 驾驶 
员 视 觉 分 散 特征 ， 如 视线 方向 等 的 提取 ， 目 前 主要 是 利用 眼 动 仪 来 获得 驾驶 员 
的 视线 方向 ， 而 眼 动 仪 高 昂 的 价格 限制 了 视觉 分 散 检测 系统 的 实际 应 用 潜力 ， 
因此 需要 开发 相对 廉价 的 检测 设备 。 另 外 ， 目 前 的 视觉 分 散 检 测 系统 中 ， 大 多 
没有 考虑 驾驶 员 转 向 行为 对 视觉 分 散 检测 的 影响 ， 容 易 造 成 虚 警 现象 的 发 生 。 
因此 ， 本 书 提出 采用 两 个 摄像 机 获取 驾驶 员 面 部 、 手 部 图 像 ， 利 用 图 像 处 理 、 
模式 识别 理论 提取 视线 特征 ， 以 检测 驾驶 员 视觉 分 散 的 方法 ， 并 根据 手 部 运动 
特征 判断 驾驶 员 的 转向 行为 ， 以 减少 虚 警 现象 。 本 书 还 对 驾驶 员 被 动 视觉 分 散 
(驾驶 疲劳 ) 检测 方法 进行 了 初步 研究 。 

本 书 主要 研究 内 容 如 下 。 

1. 研究 视觉 分 散 对 驾驶 性 能 的 影响 

作者 提出 采用 实 车 实验 的 方法 ， 研 究 同一 水 平面 上 不 同位 置 视觉 分 散 对 轰 
驶 能 力 的 影响 ;研究 视觉 分 散 影响 驾驶 员 的 机 理 ， 研究 不 同 车 速 下 视线 偏离 角 
度 与 路 线 保持 能 力 之 间 的 相关 性 ;分 析 基于 脑 电 、 皮 肤 电 、 行 为 评测 驾驶 员 注 
意 水 平 的 方法 ;确定 检测 驾驶 员 视觉 分 散 的 视线 变化 范围 ， 根 据 应 用 需要 给 出 
驾驶 员 视觉 分 散 检测 模型 。 

2. 研究 多 姿势 下 精确 定位 驾驶 员 面 部 的 方法 

研究 基于 人 脸 肤 色 混 合 高 斯 模型 检测 驾驶 员 面部 图 像 的 方法 ， 研 究 驾 驶 员 
面部 图 像 的 光照 补偿 方法 。 研 究 驾 驶 员 眉 毛 定位 方法 ， 并 设计 联合 投影 函数 ; 
研究 利用 多 项 式 模型 及 层 色 特点 的 方法 定位 驾驶 员 嘴 层 区 域 ;研究 驾驶 员 面 部 
图 像 归 一 化 的 方法 。 

3. 研究 驾驶 员 面 部 姿势 估计 的 方法 

作者 提出 基于 核 主 元 分 析 估计 驾驶 员 面 部 姿势 的 方法 ， 分 析 核 主 元 分 析 实 
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v 驾驶 员 视觉 分 散 特征 识别 及 检测 方法 
现 原理 ， 研 究 利 用 核 主 元 分 析 估 计 面 部 姿势 步骤; 研究 获取 标准 样本 图 像 的 方 
法 ， 设 计 样 本 图 像 采集 系统 ， 确 定 估 计 面 部 姿势 的 标准 曲线 ; 研究 姿势 曲线 的 
村 点 ， 根 据 姿 势 曲线 拟 合 圆 ， 提 出 利用 拟 合 圆心 及 姿势 曲线 上 与 新 投影 点 最 近 
的 2 个 点 ,来 估计 新 投影 图 像 对 应 角度 的 方法 ; 研究 面部 俯仰 角 的 估计 方法 、 
研究 面部 横 摆 角 的 估计 方法 ; 研究 不 同 的 核 函 数 、 核 函数 参数 的 变化 对 估计 面 
部 姿势 的 影响 。 

4. 人 研究 驾驶 员 有 眼睛 视线 方向 的 识别 方法 
研究 PCA 实现 原理 ， 分 析 常 用 PCA 应 用 于 识别 时 存在 的 问题 ， 针 对 驾驶 环 
境 中 精确 提取 视线 方向 的 困难 ， 提 出 应 用 Multi- PCA (多 主 元 分 析 ) 来 识别 视线 
方向 的 方法 ; 研究 适合 视线 方向 提取 的 眼睛 区 域 定位 方法 ; 研究 不 同 视线 特征 
空间 的 相似 度 ， 以 证 明 方 法 的 有 效 性 。 
5. 转向 行为 识别 方法 
研究 不 同 驾驶 行为 中 驾驶 员 双 手 位 置 变化 的 特点 ; 研究 基于 粒子 滤波 算法 
的 驾驶 员 手 部 跟踪 方法 ; 研究 不 同 的 驾驶 行为 的 特征 。 作 者 提出 了 根据 双手 位 
置 的 标准 差 来 识别 驾驶 员 的 转向 行为 ， 提 出 了 鸭 驶 员 转 向 行为 识别 算法 。 

6. 人 研究 运用 信息 融合 技术 检测 驾驶 员 疲 劳 程度 的 方法 

采用 分 布 式 信息 融合 结构 ， 在 决策 级 根据 粗糙 集 理论 判断 驾驶 员 疲 劳 程度 ; 
建立 单个 检测 特征 量 与 驾驶 员 疲 劳 程 度 之 间 的 量化 关系 ; 针对 粗糙 集 理 论 要 求 ， 
研究 检测 特征 量 的 离散 归 一 化 问题 ， 并 对 数据 进行 约 简 ， 得 出 最 小 决策 算法 ; 
根据 最 小 决策 算法 判断 驾驶 员 疲 劳 程 度 。 


















































参考 文献 


[1] D. Dawson, N. Lamond, K. Donkin, et al. Quantitative Similarity between the Cognitive 
Psychomotor Performance Decrement Associated with Sustained Wakefulness and Alcohol Intoxi- 
cation [ C]. Proceedings of the Third International Conference on Fatigue and Transportation. 
Western Australia, 1998; 1-3. 

[2] FIRES. 限 速 标 志 对 各 驶 行为 影响 研究 [D]. 长 春 : 吉林 大 学 . 2006: 2. 

[3] D. Parker, J. T. Reason. Driving Errors, Driving Violations and Accident Prevention [J]. 

Ergonomies. 1995, 38 (1): 1036-1048. 

[4] S. G. Klauer, T. A. Dingus, V. L. Neale. The Impact of Driver Inattention on Near- 

Crash/Crash [C]. Virginia; National Highway Traffic Safety Administration, 2006; 1-10. 

[5] 郑 培 ， 宋 正 河 ， 周 一 鸣 . BL 4: 25 Be 53i 25 Jie SF DV TE 71 E DERE AR DURS [J]. 

国 农业 大 学 学 报 . 2001, 6 (6): 101-105. 

[6] BEB. 驾车 分 心 是 交通 事故 的 主因 [站 .农业 机 械 化 与 电气 化 . 2001, (2); 28. 

[7] M. Kutila. Methods for Machine Vision Based Driver Monitoring Applications [ D]. Tampere 














H 


ay 
































12 


University Doctor Thesis. 2006: 16-17. 

[8] D. L. Hendricks, J. C. Fell, M. Freedman. The Relative Frequency of Unsafe Driving 
Acts in Serious Traffic Crashes [C]. Washington, D. C.: National Highway Traffic Safety 
Administration Office of Research and Traffic Records Research and Evaluation Division, 
1999. 1-10. 

[9] J. C. Stutts, D. W. Reinfurt, L. Staplin. The Role of Driver Distraction in Traffic Crashes 
[C]. Washington, D. C. : AAA Foundation for Traffic Safety, 2001; 5-20. 

[10] M. Basset, C. Cudel, V. Georges, et al. Visual Characterization of the Road Driver’ s Be- 
haviour [ C]. IEEE International Workshop on Intelligent Signal Processing. Faro, Portugal. 
2005; 288-291. 

[11] XE €, RHE. 驾驶 ACT- R 认 知 行为 建 模 [中 .浙江 大 学 学 报 〈 工 学 版 )，2006，40 

(10): 1657-1662. 

[12] 李 衡 峰 . 基于 综合 集成 的 驾驶 疲劳 识别 [D]. Kv: 中 南大 学 .2005: 1-8. 

[13] R. Karlsson. Evaluating Driver Distraction Countermeasures [ D]. Linkpings University. 

2004; 1. 

[14] I. D. Brown. Effect of a Car Radio on Driving in Traffic [J]. Ergonomics, 1965, 8 (4): 

475-479. 








[15] I. D. Brown, A. H. Tickner, D. C. Simmonds. Interference between Concurrent Tasks of 


Driving and Telephoning [J]. J. Appl. Psychol, 1969, 53 (5); 419-424. 








[16] M. J. Goodman, F. D. Bents, Tijerina. An Investigation of the Safety Implications of 
Wireless Communication in Vehicles [ C]. Washington, D. C.: Department of Transportation 
NHTSA, 1997; 1-10. 

[17] E. Farber, J. Foley, S. Scott. Visual Attention Design Limits for ITS In- Vehicle Systems; 
The Society of Automotive Engineers Standard for Limiting Visual Distraction while Driving 
[C]. Transportation Research Board Annual General Meeting, Washington D. C. USA, 
2000; 2-3. 

[18] K. Young, M. Regan, M. Hammer. Driver distraction; A Review of the Literature [ D ]. 
Victoria Australia; Holden Ltd, 2003; 1-7. 

[19] D. Haigney. Mobile (Cellular) Phone Use and Driving; A Critical Review of Research Meth- 
odology [J]. Ergonomics. 2001, 44 (2); 132-143. 

[20] J. W. Jenness, R. J. Lattanzio, M. Toole. Voice- Activated Dialing or Eating a Cheese- 
burger: Which is More Distracting during Simulated Driving [ C]. Proceedings of the Human 
Factors and Ergonomics Society 46th Annual Meeting, Pittsburgh, PA. , 2002; 12. 

[21] B. Simons-Morton, N. Lerner, J. Singer. The Observed Effects of Teenage Passengers on 
the Risky Driving Behavior of Teenage Drivers [J]. Accident Analysis & Prevention. 2005, 
37 (6): 973-982. 

[22] B. Wallace. Driver Distraction by Advertising; Genuine Risk or Urbanmyth? [J] Municipal 

Eng. 2003, 156 (3): 185-190. 


13 < 


“驾驶 员 视 觉 分 散 特 征 识别 及 检测 方法 

[23] R. Leiser. Driving Future Vehicles | M]. UK; Routledge, 1993. 

[24] J. D. Lee, B. Caven, S. Haake, etal. Speech-based Interaction with In- Vehicle Comput- 
ers; The Effects of Speech- Based E-Mail on Drivers’ Attention to the Roadway [J]. Human 
Factors. 2001, 43 (4): 631-639. 

[25] T. A. Ranney, J. L. Harbluk, Y. I. Noy. Effects of Voice Technology on Test Track 
Driving Performance: Implications for Driver Distraction [J]. Human Factors. 2005, 47 
(2): 439-454. 

[26] D. D. Waard, K. A. Brookhuis, N. Hernandez- Gress. The Feasibility of Detecting 
Phone- Use Related Driver Distraction. International Journal of Vehicle Design [J]. 2001, 26 
(1): 85-95. 

[27] M. Pettitt, G. Burnett, A. Stevens. Defining Driver Distraction [ C]. World Congress on 
Intelligent Transport Systems, San Francisco, 2005; 1-12. 

[28] Wang Rongben, Guo Lie, Tong Bingliang, et al. Monitoring Mouth Movement for Driver Fa- 
tigue or Distraction With one Camera [C]. The 7th International IEEE Conference on Intelli- 
gent Transportation Systems, 2004: 314-319. 

[29] 童 兵 亮 ， 基于 嘴 部 状态 的 疲劳 驾驶 和 精神 分 散 状态 监测 方法 研究 [D]. KE: 吉林 大 
学 . 2004: 29-41. 

[30] W. H. Chen, C. Y. Lin, J. L. Doong. Effects of Interface Workload of In- Vehicle Infor- 
mation Systems on Driving Safety [J]. Transportation Research Record. 2005, 19 (37): 
73-78. 

[31] B. S. Liu, Y. H. Lee. Effects of Car- Phone Use and Aggressive Disposition During Critical 





Driving Maneuvers [J]. Transportation Research Part F; Traffic Psychology and Behaviour. 
2005, 8 (4): 369-482. 

[32] Liu Bor-Shong, Lee Yung-Hui. In- Vehicle Workload Assessment; Effects of Traffic Situations 
and Cellular Telephone Use [J]. Journal of Safety Research. 2006, 37 (1): 99-105. 

[33] Liu Ning, Zhang Kan, Sun Xianghong. The Measurement of Driver’ s Mental Workload; A 
Simulation- Based Study [ C]. International Conference on Transportation Engineering, Cheng- 
du, China, 2007; 1187-1193. 

[34] J. Engstróm, E. Johansson, J. Ostlund. Effects of Visual and Cognitive Load in Real and 
Simulated Motorway Driving [J]. Transportation Research Part F; Traffic Psychology and Be- 
haviour. 2005, 8 (2): 97-120. 

[35] L. Tijerina, E. Parmer, M. J. Goodman. Driver Workload Assessment of Route Guidance 
System Destination Entry While Driving: A Test Track Study [ C]. Proceedings of the 5th ITS 
World Congress, Seoul, Korea, 1998; 5. 

[36] D. D. Salvucci. Predicting the Effects of In-Car Interface Use on Driver Performance; An In- 
tegrated Model Approach [J]. International Journal of Human- Computer Studies. 2001, 55 
(1): 85-107. 

[37] P. Green, E. Hoekstra. M. Williams. Further on- the- road Tests of Driver Interfaces; Ex- 


— 14 


[40] 


[41] 


[42] 








[43] 


[44] 


[46] 


[47] 


[48] 


[49] 


amination of a Route Guidance System and Car Phone [ C]. Washington, D. C.; Federal 
Highway Administration, 1993; 1-5. 

P. J. Cooper, Y. Zheng. Turning Gap Acceptance Decision- Making: Impact of Driver Dis- 
traction [J]. Journal of Safety Research. 2002, 33 (3); 321-335. 

M. P. Reed, P. A. Green. Comparison of Driving Performance on- Road and in Low- Cost 
Simulator Using a Concurrent Telephone Dialing Task [J]. Ergonomics. 1999, 42 (8): 
1015- 1037. 

S. T. Godley Triggs, T. J. Fildes, B. N. Fildes. Driving Simulator Validation for Speed 
Research [J]. Accident Analysis and Prevention. 2002, 4 (5): 589-600. 

K. A. Brookhuis, G. Vries, D. Waard. The effects of mobile telephoning on driving per- 
formance [J]. Accident Analysis & Prevention. 1991, 23 (4); 309-316. 

P. Green. Visual and Task Demands of Driver Information Systems [ C]. Society of Automo- 
tive Engineers, Warrendale, Michigan, USA, 1999. 1-20. 

J. C. McCall, M. M. Trivedi. Visual Context Capture and Analysis for Driver Attention Mo- 
nitoring [ C]. IEEE Conference on Intelligent Transportation Systems, Washington, D. C., 
United States, 2004; 332-337. 

M. H. Kutila, M. Jokela, T Makinen. et al. Driver Cognitive Distraction Detection; Fea- 
ture Estimation and Implementation [J]. Proceedings of the Institution of Mechanical Engi- 
neers, Part D; Journal of Automobile Engineering. 2007, 221 (9): 1027-1040. 

Y. Liang, J. D. Lee, M. L. Reyes. Nonintrusive Detection of Driver Cognitive Distraction 
in Real Time Using Bayesian Networks [J]. Transportation Research Record, Human Perform- 
ance, User Information, Simulation, and Visualization. 2007, 20 (18); 1-8. 

Y. Liang, M. L Reyes, J. D. Lee. Real-time Detection of Driver Cognitive Distraction U- 
sing Support Vector Machines [J]. IEEE Transactions on Intelligent Transportation Systems. 
2007, 8 (2): 340-350. 

B. White, R. Feris. Algorithm for Predicting Inattentive Signal Violators in an Infrastruc- 
ture- Based Intelligent System [C]. Transportation Research Record. 2004, 1886; 85-91. 
H. Cristy. Using Spatial Warning Signals to Capture a Driver’ s Visual Attention [C]. Sixth 
International Conference on Multimodal Interfaces, State College, PA, USA, 2004: 350. 

N. Edenborough, R. Hammoud, A. Harbach. Driver State Monitor from DELPHI [ C ]. 
IEEE Computer Society Conference on Computer Vision and Pattern Recognition, SanDiego, 
CA, United States, 2005: 1206-1207. 

施 树 明 ， 金 立 生 ， 王 荣 本 ， 等 ， 基 于 机 器 视觉 的 驾驶 员 嘴 部 状态 检测 方法 [J]. 吉林 大 
学 学 报 (TW). 2004, 34 (2): 232-236. 


Takahashi Kenichi, Yamada Keiichi, Nakano Tomoaki, et al. Method of Detecting Concentra- 

















tion on Cellular Phone Call from Facial Expression Change by Image Processing [ C]. IEEE In- 
ternational Conference on Systems, Man and Cybernetics, Waikoloa, HI, United States, 


2005; 3444-3448. 


15 


“驾驶 员 视 觉 分 散 特征 识别 及 检测 方法 

[52] M. Yamakita, K. Takahashi, K. Yamada, et al. Measurement of Driver' s Consciousness 
by Image Processing 2 - Detection of Concentration on Cellular Phone Call from Facial Expression 
Change Coping with Individual Differences [ C]. IEEE International Conference on Systems, 
Man and Cybernetics, Taipei, 2006; 1688-1692. 

[53] F. Moreno, F. Aparicio, W. Hernandez. A Low-cost Real- Time FPGA Solution for Driver 
Drowsiness Detection [ C]. The 29th Annual Conference of the IEEE Industrial Electronics So- 
ciety, Roanoke, VA, United States, 2003: 1396-1401. 

[54] Michimasa ITOH, Yoshiyuki MIZUNO, Shin YAMAMOTO. Driver’ s Status Monitor [C]. 
Proceedings of the 21st International Conference on Data Engineering, Tokyo, Japan, 2005: 
1-8. 

[55] J. Pohl, W. Birk, L. Westervall. A Driver-distraction- based Lane- keeping Assistance Sys- 
tem [J]. Proceedings of the Institution of Mechanical Engineers. Part I; Journal of Systems 
and Control Engineering. 2007, 221 (4); 541-552. 

[56] J. L. Harbluk, N. Y. Ian, P. L. Trbovich, et al. An on-road Assessment of Cognitive 
Distraction; Impacts on Drivers’ Visual Behavior and Braking Performance [J]. Accident A- 
nalysis and Prevention. 2007, 3 (2): 372-379. 

[57] T. W. Victor, J. L. Harbluk, J. A. Engstróm. Sensitivity of Eye- Movement Measures to 
In- Vehicle Task Difficulty [J]. Transportation Research Part F; Psychology Behaviour. 
2005, 8 (2): 167-190. 

[58] P. K. Hughes, B. L. Cole. The Effect of Attentional Demand on Eye Movement Behavior 
when Driving [C]. Vision in Vehicles IT. Amsterdam, Netherlands, 1988; 221-230. 

[59] H. Zhang, M. R. Smith, G. J. Witt. Identification of Real- Time Diagnostic Measures of 
Visual Distraction with an Automatic Eye Tracking System [J]. Human Factors. 2006, 48 
(4): 805-821. 

[60] J. P. Batista. A Real-time Driver Visual Attention Monitoring System [J]. Lecture Notes in 
Computer Science. 2005, 3522 (1): 200-208. 

[61] P. Smith, M. Shah, N. V. Lobo. Determining Driver Visual Attention with One Camera 
[J]. IEEE Transactions on Intelligent Transportation Systems. 2003, 4 (4): 205-218. 

[62] J. D. Lee, J. D. Li, L. C. Liu. A Novel Driving Pattern Recognition and Status Monito- 
ring System [J]. Lecture Notes in Computer Science. 2006, 43 (19); 504-512. 


=> 16 


Tw. 2) OG] 5 DE RE JJ X6 n 
分 析 及 检测 模型 


ite 8 





六 





2.1 概述 


视觉 分 散 指 驾 驶 员 视 线 偏离 车 辆 前 方 的 行为 ， 主 要 包括 3 种 类 型 . 

1) 视线 被 物体 遮挡 。 

2) 苔 驶 员 忽 视 道 路 紧急 和 情况。 例如， 由 于 观看 风景 等 ， 没 有 观察 道路 。 

3) 选择 性 视觉 分 散 ， 驾驶 员 在 观察 道路 , 但 没有 识别 道路 上 的 潜在 
风险 站 。 

本 书 研 究 的 对 象 是 第 2 种 类 型 ， 并 简称 为 视线 偏离 。 如 果 视 线 偏离 的 持续 
时 间 较 短 ， 那 么 视觉 分 散 对 驾驶 能 力 影响 不 大 ， 但 当 持 续 时 间 超 过 2s 时， 那么 
驾车 出 事故 的 风险 将 急剧 升 高 ” 。 

驾驶 员 在 正常 驾驶 和 视觉 分 散 时 会 表现 出 不 同 的 驾驶 能 力 。 表 征 驾 驶 员 
驾驶 能 力 的 工作 指标 主要 包括 : 保持 车 辆 在 道路 上 侧 向 偏 移 的 稳定 性 、 车 速 保 
持 和 控制 能 力 、 对 外 部 事件 的 反应 时 间 、 车 距 控 制 、 工 作 强 度 、 对 安全 驾驶 参 
数 的 警惕 性 等 ”。 视 线 偏离 持续 时 间 的 长 短 对 驾驶 员 的 影响 已 经 得 到 深入 研究 ， 
在 偏离 角度 方面 ， 主 要 研究 了 视线 在 垂直 方向 变化 时 对 驾驶 能 力 的 影响 ” ， 特 
别 是 对 驾驶 员 反 应 时 间 的 影响 上 “”。 而 侧 向 偏离 对 碰 接 与 安全 的 度量 来 说 是 更 
好 的 标准 ， 因 为 即使 几米 的 偏离 也 经 常 导致 交 通 事 故 的 发 生 * 。 

本 章 中 作者 对 同一 水 平面 上 、 不 同 偏离 角度 下 视觉 分 散 的 影响 进行 了 研究 ， 
重点 研究 视觉 分 散 对 车 辆 侧 向 侦 移 的 影响 ， 并 给 出 视觉 分 散 检测 模型 。 


2.2 视 党 分 散 影响 机 理 


如 果 鸭 驶 车 辆 时 驾驶 员 进 行 的 第 二 作业 需要 视觉 功能 参与 ， 将 会 导致 视觉 
资源 在 两 个 任务 中 的 竞争 分 配 ， 而 视觉 资源 是 有 限 的 ， 这 必然 导致 分 配 于 驾驶 
任务 的 视觉 资源 减少 ， 形 成 视觉 分 散 。 根 据 眼 睛 运动 特征 (眼睛 扫 视 频率 、 上 采 
视 平 均 持续 时 间 ) 可 以 直接 测量 第 二 作业 需要 的 视觉 资源 ” 。 
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当 驾 驶 员 视 觉 注意 从 道路 上 转移 开 时 〈 因 为 第 二 作业 、 视 觉 遗 蔽 等 ) ， 驾 驶 
员 不 能 获得 控制 车 辆 所 需 的 信号 ， 在 一 个 短 的 时 间 段 内 只 能 保持 转向 盘 于 固定 
的 转角 。 在 这 样 的 时 间 段 内 ， 轰 驶 员 出 错 的 概率 将 会 增 大 ， 导 致 行 驶 路 线 的 不 
稳定 甚至 偏 出 道路 。 另 外 ， 视 觉 需求 与 行驶 路 线 的 保持 具有 很 强 的 相关 性 ”1 。 
萄 驶 员 保持 的 行驶 路 线 是 由 “安全 边界 ”指导 的 ， 驾 驶 员 要 努力 保持 行驶 在 这 
个 边界 内 的 区 域 中 。 

由 于 时 间 分 配 的 不 合理 性 导致 行驶 路 线 保 持 的 错误 ， 这 就 要 求 驾 驶 员 进 行 
手动 补偿 ， 这 个 动作 将 大 于 在 正常 行驶 时 的 补偿 动作 ， 并 更 严重 地 分 散 芝 驶 员 
视觉 注意 。 应 用 转向 盘 转 向 频率 来 研究 第 二 作业 对 转向 的 影响 ， 发 现 转向 频率 
不 是 一 个 简单 的 第 二 作业 能 力 需 求 的 函数 ， 还 包括 基本 作业 与 第 二 作业 间 的 相 
对 复杂 关系 ， 以 及 驾驶 员 特 征 ， 不同 作业 需要 的 能 力 。 并 且 ， 视 觉 显示 的 复杂 
性 显著 影响 转向 频率 ， 老 年 驾驶 员 在 这 方面 表现 得 更 为 突出 。 视 觉 负 担 还 会 导 
致 驾驶 员 降 低 车 速 。 这 被 解释 为 一 个 补偿 效应 ,驾驶 员 要 减少 基本 作业 负担 来 
保持 驾驶 能 力 在 一 个 相对 安全 的 水 平 。 进 行 第 二 视觉 作业 时 会 阻止 驾驶 员 对 信 
号 、 事 件 的 识别 能 力 。 例 如 ， Greenberg! 发 现 视觉 分 散 将 导致 驾驶 员 对 紧急 情 
况 检 测 率 的 降低 。 

当前 ， 许 多 研究 已 经 证 明 眼 睛 扫 视 与 驾驶 能 力 间 具有 很 强 的 相关 性 '"。 随 
着 扫 视 次 数 与 总 的 扫 视 持续 时 间 的 增加 ， 和 车 辆 偏离 行驶 路 线 的 次 数 也 随 之 增 
Jin? 。Dingus'" 等 的 研究 表明 扫 视 持续 的 平均 时 间 与 路 线 偏 离 距离 成 正 相 关 
性 。 虽 然 Tijerinat 趾 研究 后 给 出 的 结论 不 相同 ,但 这 种 相 背 离 的 结论 可 以 通过 视 
线 平均 偏离 时 间 没 有 超过 2s 来 解释 "| ， 因 为 持续 2s 以 下 的 视线 偏离 对 驾驶 员 
保持 路 线 的 能 力 没 有 多 大 影响 。Zwahlen 与 DeBald05 B Eg t Fe 88 ^4 25 up 53 [1] 
上 眼睛 、 视 线 偏离 道路 时 ， 车 辆 偏离 道路 中 心 的 标准 差 将 比 正常 行驶 时 增 大 。 
另外 ， 视 觉 分 散 还 会 增加 驾驶 员 对 前 车 制 动 信号 的 反应 时 间 。 驾 驶 员 在 视觉 分 
散 时 释放 加 速 踏 板 的 时 间 要 比 正常 驾驶 时 延长 0. 4s 7 。 

除了 持续 时 间 ， 视 线 偏 离 的 角度 是 描述 视线 偏离 的 男 一 个 指标 。 不 同 偏离 
角度 的 视觉 分 散 对 驾驶 员 产 生 的 影响 也 不 同 。Summala 等 在 实验 中 要 求 驾 驶 员 
持续 注视 一 个 偏离 道路 的 地 方 。 要 求 参 加 实验 者 大 声 读 出 这 三 个 偏离 处 (7°， 
23°, 38°) 的 数字 。 虽 然 驾驶 员 还 能 够 用 眼睛 的 余 光 观 察 道 路 来 控制 车 辆 ， 但 
是 随 着 偏离 角度 的 增加 ,驾驶 员 路 线 保持 的 能 力也 跟着 降低 。 实 验 应 用 的 偏离 
位 置 主要 是 在 垂直 方向 上 发 生变 化 ， 然 而 视线 在 垂直 方向 偏离 与 水 平方 向 偏离 
时 产生 的 影响 不 尽 相 同 ， 因 此 Lamble'*! 等 研究 了 视线 在 两 个 方向 上 变化 时 对 轰 
驶 能 力 的 有 影响， 发现 随 着 偏离 角度 的 增加 ， 和 驾驶 员 对 前 方 车 辆 制 动 信号 的 反应 
时 间 也 增加 了 。 Horrey 与 Wickens "| 发 现 视线 偏离 到 中 控 台 附 近 时 ， 会 减缓 驾驶 
员 对 紧急 情况 的 反应 速度 。 也 有 人 研究 人 员 进 行 了 实验 研究 ， 让 参加 者 注视 道路 





































































































=> 18 


第 2 章 视觉 分 散 对 驾驶 能 影响 分 析 及 检测 模型 o 





中 心 ， 并 且 观 察 放置 在 不 同位 置 的 红色 信和 号， 并 在 信号 发 出 时 按 下 按键 。 实 验 
发 现 红色 信号 放置 在 驾驶 员 正 常 视线 范围 的 中 心 时 ,驾驶 员 的 反应 时 间 最 短 ， 
如 果 信 号 放置 在 车 辆 外 部 ， 那么 驾驶 员 对 信号 的 反应 时 间 将 会 增加 14% ~25% 。 


2.3 ”基于 实 车 实验 的 视 党 分 散 影 响 分 析 


研究 各 驶 员 注 意 分 散 可 以 在 驾驶 模拟 器 上 进行 ,也 可 以 在 真实 车 辆 上 进行 。 
但 模拟 顺 与 真实 车 辆 的 不 同 会 影响 测试 结果 ， 并 且 驾 驶 员 在 了 解 模拟 融 不 能 对 
他 们 造成 伤害 的 前 提 下 ， 容易 做 些 对 安全 驾驶 不 利 的 事情 ， 如 双手 离开 转向 盘 、 
视线 俩 离 道路 场景 等 ， 也 会 影响 实验 结果 。 因 为 场景 显示 在 屏幕 上 ， 视 觉 分 散 
目标 在 各 5 驶 模拟 器 上 ， 两 者 的 相互 位 置 关 系 不 能 很 好 地 模拟 融 为 一 体 ， 所 以 会 
对 研究 不 同位 置 视觉 分 散 产生 不 利 影响 。 

测量 视觉 分 散 对 驾驶 能 力 影响 的 最 直接 方法 是 在 道路 上 采集 数据 ， 该 方法 
要 求 受 试 人 员 在 道路 上 驾驶 车 辆 ， 并 完成 各 种 视觉 分 散 的 作业 。 该 方法 采集 的 
数据 来 自 真实 环境 ， 因 此 比较 可 靠 , 但 是 也 比较 耗 时 、 ee 
的 方法 也 能 获得 真实 的 数据 ， 也 经 常用 来 测试 视觉 分 散 对 驾驶 能 力 的 影响 。 
方法 让 受 试 者 在 一 条 测试 道路 或 者 封闭 道路 上 各 驶 车 辆 ， "de 
工 观察 收集 数据 ， 然 后 与 基准 数据 比较 。 此 法 接近 真实 环境 ， 并 且 在 封闭 路 上 
驾驶 降低 了 危险 性 


2.3.1 实验 用 车 及 场地 


作者 的 实验 选择 了 山东 大 学 车 辆 研究 所 的 多 功能 教练 用 车 ， 教 练 车 在 前 排 
乘客 位 置 有 一 辅助 制 动 装置 ， 在 出 现 紧 急 情 况 时 前 排 乘客 可 以 帮助 驾驶 员 制 动 
车 辆 以 保证 行车 安全 。 我 们 选择 一 条 封闭 的 道路 作为 实验 场地 ， 以 避免 其 他 车 
辆 、 行 人 等 对 实验 的 影响 。 实验 车 道 共 350m， 分 为 两 部 分 ， 实验 准备 部 分 一 
150m、 实 验 数据 采集 部 分 实验 场地 及 实验 用 车 如 图 2- 1a 所 示 。 


2.3.2 实验 内 容 


要 求 驾驶 员 在 实验 道路 中 心 (驾驶 员 正 对 分 道 线 ) 以 20km/h, 10km/h 的 
恒定 速度 驾驶 教练 用 车 ， 并 在 驾驶 车 辆 期 间 阅 读 粘 贴 在 风 窗 玻璃 不 同位 置 处 的 
词语 、 数 字 。 这 四 个 位 置 分 别 位 于 驾驶 员 右 侧 23"、39. 2°, 48.36?, 、55.7" 处 ， 
如 图 2-1b 所 示 。 

实验 中 采用 的 词语 信息 如 :“ 地 球 劳动 节 ”、“ 火 山 北京 市 " “中国 世界 杯 ” 
等 简单 词语 ; 数字 信息 如 :“12 3”、“3 5 2”、“7 8 9” 等 连贯 或 者 不 连贯 的 3 
位 数字 。 采 用 一 号 黑体 字 将 词语 、 数 字 信 息 打印 在 白色 打印 纸 上 ， 并 裁剪 至 适 
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a) 实验 用 车 及 场地 





b) 文本 信息 位 置 
图 2-1 实验 用 场地 、 车 辆 、 文 本 位 置 


当 大 小 ， 粘 贴 在 以 上 四 个 位 置 。 选 择 阅 读 比较 简单 的 文本 信息 的 原因 是 ， 阅 读 
这 样 的 信息 需要 很 少 认 知 能 力 ， 因 此 能 较 少 地 引起 驾驶 员 的 认 知 分 散 '” 。 根 据 
放置 位 置 的 不 同 、 信 息 类 型 的 不 同 ， 可 以 把 驾驶 员 驾 驶 车 辆 时 的 视觉 分 散 分 为 9 
类 ， 其 中 第 9 类 的 视线 偏离 角度 为 0>， 代 表 基 本 驾驶 (无 视觉 分 散 )。9 类 内 容 
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如 表 2-1 所 示 。 


表 2-1 视觉 分 散 类 型 























信息 类 型 
信息 偏离 角度 /(°) 

词语 数字 
55.7 1 2 
48. 6 3 4 
39.2 5 6 
23 7 8 
0 9 (基本 驾驶 ) 





2.3.3 实验 过 程 


选择 10 位 男性 鸭 驶 员 ， 并 且 他 们 中 间 没 有 人 参加 过 类 似 实验 ， 驾 龄 均 在 4 
年 左右 ， 并 且 经 常 驾 驶 车 辆 ， 行 驶 里 程 均 在 5000km 以 上 ， 年 龄 分 布 在 24 ~ 37 
岁 之 间 ， 平 均 年 龄 为 29.6 岁 。 

首先 ， 让 驾驶 员 驾 驶 车 辆 1000m 来 熟悉 车 辆 ， 并 告知 其 需要 观察 文本 信息 
的 4 处 位 置 ， 以 及 各 种 作业 任务 。 在 熟悉 实验 作业 后 ， 驾 驶 员 进 入 驾驶 室 直 到 
感觉 正常 。 数 据 记 录 人 员 坐 在 前 排 乘客 座位 上 ， 负责 告知 驾驶 员 需 要 阅读 文本 
的 位 置 ， 并 记录 数据 ， 在 有 紧急 情况 时 制 动 车 辆 。 每 位 驾驶 员 需 要 完成 20 RK 
验 模块 ， 其 中 两 次 为 在 静止 车 辆 上 阅读 不 同位 置 的 文本 〈 词 语 、 数 字 ) 。 其 他 18 
次 分 别 为 在 10km/h, 20km/h 的 车 速 下 完成 表 2-1 中 的 9 种 视觉 分 散 作 业 。 要 求 
驾驶 员 以 恒定 速度 驾驶 车 辆 ， 并 建议 他 们 保持 好 行驶 路 线 。 

驾驶 员 在 实验 车 道 始 端 发 动车 辆 ， 在 实验 车 道 准备 部 分 加 速 车 辆 至 10km/h 
或 者 20km/h， 保持 车 速 恒定 并 调整 车 辆 行驶 在 道路 中 心 。 当 车 辆 行驶 至 实验 数 
据 采 集 部 分 ， 提 醒 驾 驶 员 进 行 阅读 文本 信息 的 作业 。 


2.3.4 结果 分 析 


通过 让 驾驶 员 阅 读数 量 不 等 的 文本 来 模拟 视觉 分 散 ， 变 化 文本 字数 与 内 容 
以 产生 两 个 级 别 的 视觉 分 散 。 另 外 ， 这 些 文本 所 处 的 位 置 不 同 ， 证 驾驶 员 产 生 
不 同 的 视线 偏离 角度 。 这 些 阅 读 作业 可 以 代表 典型 驾驶 中 能 遇 到 的 第 二 作业 
(如 观察 车 外 路 标 等 ) 。 

需要 采集 的 数据 主要 有 车辆 偏离 道路 中 心 线 距 离 与 驾驶 员 阅 读 文 本 信息 需 
要 的 时 间 。 在 和 车辆 尾部 中 间 巧 挂 一 滴水 装置 ， 流 速 控制 在 2. 0L/min， 以 水 迹 中 
心 与 分 道 线 最 近 边缘 间 的 距离 作为 车 辆 偏离 道路 中 心 的 距离 。 根 据 车 速 的 不 同 、 
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文本 信息 的 不 同 ,测量 不 同 距离 内 的 车 辆 偏离 距离 ， 主 要 保证 能 测量 到 驾驶 员 
视觉 分 散 时 间 段 内 经 过 的 所 有 路 程 ， 以 及 大 约 1s 的 驾驶 员 方 向 调整 期 。 记 录 员 
坐 在 前 排 乘 客座 位 ， 应 用 秒表 记 下 驾驶 员 阅 读 文本 的 时 间 ， 以 此 作为 驾驶 员 视 
线 偏离 道路 的 时 间 。 其 中 时 间 记 录 起 始点 为 记录 员 提 醒 驾 驶 员 阅 读 文字 的 时 间 ， 
终点 为 驾驶 员 阅 读 文 本 完毕 的 时 间 。 因 为 车 速 对 驾驶 员 阅 读 文本 速度 的 影响 不 
大 ， 我 们 仅 统计 20km/h 车 速 下 视线 偏离 的 平均 时 间 ， 如 图 2-2 所 示 。 


词语 ZL 

















视线 偏离 平均 时 间 /s 
T 








视线 偏离 角度 /(°) 
图 2-2 视线 偏离 道路 平均 时 间 





根据 图 2-2 可 以 看 出 ， 阅 读 不 同文 本 需要 的 时 间 是 不 同 的 ， 阅 读 词 语 要 比 阅 
读数 字 多 用 接近 1s 的 时 间 ， 这 其 中 的 原因 主要 是 词语 的 单字 数 (5 位 ) 要 比 数 
F (3 位 ) 多 60% 。 随 着 文本 位 置 偏离 角度 的 增加 ， 视 线 偏离 持续 的 时 间 也 有 
所 增加 ， 从 23° 到 55. 7" ， 视 线 偏离 平均 时 间 大 约 增加 20% 。 时 间 增 加 的 主要 原 
因 是 驾驶 员 头 部 转动 较 大 角度 时 需要 的 时 间 比 较 长 ， 另 外 ， 驾 驶 员 搜 索 较 远 处 
的 目标 也 比较 耗 时 。 

计算 驾驶 员 在 不 同 视觉 分 散 情况 下 路 线 偏离 的 标准 差 (SDLP- Stand Differ- 
ence of Lane Position) 如 图 2-3 所 示 。 

从 图 2-3 中 可 以 看 出 ，20km/h 和 车速 下 的 SDLP 要 比 10km/h 下 的 SDLP 大 
1.5 ~3cm。SDLP 的 变化 主要 是 由 于 驾驶 员 保 持 方 向 不 稳 引 起 的 ， 因 此 车 速 高 时 
SDLP 变化 要 剧烈 一 些 。SDLP 在 基本 驾驶 时 大 约 是 1em， 而 在 视觉 分 散 时 最 多 起 
过 4cm， 这 说 明 层 次 较 深 的 视觉 分 散 对 驾驶 员 的 影响 还 是 比较 大 的 。SDLP 随 着 
视线 偏离 角度 的 增 大 而 增 大 ， 并 且 阅 读 词 语 要 比 数 字 时 大 ， 这 在 车 速 高 、 视 线 
偏离 角度 大 时 更 明显 。 另 外 ， 我 们 还 可 以 看 出 ， 虽 然 SDLP 随 着 驾驶 员 视 线 偏 离 
角度 增加 时 变化 明显 ， 但 是 SDLP 都 比较 小 (最 大 不 超过 Sem) 。 这 可 能 有 两 方 
面 的 原因 造成 这 个 现象 : 
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视线 偏离 角度 /(“ ) 
b) 20km/h 车 速 


图 2-3 车 辆 偏离 车 道中 心 距离 标准 差 (SDLP) 


1) 驾驶 员 被 告知 的 任务 就 是 保持 行驶 路 线 的 稳定 ， 因 此 驾驶 过 程 中 驾驶 员 
刻意 保持 了 行驶 路 线 的 稳定 性 。 

2) 为 保证 安全 ， 实 验 中 采取 了 较 低 的 车 速 ， 车 辆 在 横向 上 的 速度 分 量 也 较 
小 ， 因 此 车 辆 不 易 偏 离 道路 中 心 。 

在 这 里 应 用 的 变量 主要 有 视线 偏离 时 间 、 视 线 偏 离 角 度 、SDLP。 表 征 驾 驶 
能 力 最 直接 的 变量 是 SDLP， 如 果 其 他 变量 也 能 揭示 驾驶 能 力 变 化 ， 那 么 它 应 该 
是 与 SDLP 是 共 变 的 。 在 两 种 车 速 、 两 种 视觉 分 散 类 型 下 ， 视 线 偏离 角度 与 
SDLP 的 皮尔 逊 相关 系数 在 0.785 ~0. 814 之 间 (p «0.05), 预示 着 二 者 之 间 具 
有 很 强 相关 性 。 

随 着 文本 数目 的 增加 ， 或 者 文本 偏离 角度 的 增加 ，SDLP 计算 出 来 的 值 是 基 
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准 驾驶 时 的 3 ~4 倍 。 这 说 明 驾 驶 员 在 文本 信息 变 得 复杂 ， 或 者 偏离 率 增加 时 会 
受到 更 大 影响 。 因 为 这 些 驾驶 能 力 变 量 与 交通 安全 在 所 有 驾驶 情况 下 都 有 关 ， 
这 就 意味 着 减少 视觉 分 散 将 会 减少 交通 事故 是 合 情 理 的 。 因 为 及 时 地 对 道路 事 
件 做 出 反应 ， 对 高 速 公 路 的 交通 来 说 至 关 重 要 ， 当 前 研究 表明 应 该 对 视觉 分 散 
的 驾驶 员 进 行 警告 ， 使 驾驶 员 和 避免 车 辆 前 方 的 威胁 因素 。 


2.4 驾驶 员 视 党 分 散 检测 模型 














2.4.1 驾驶 员 注 意 特 征 评价 


注意 是 一 切 认 知 过 程 的 基础 ， 是 心理 活动 对 一 定 事 物 的 指向 和 集中 5) 。 

首先 ， 人 们 的 注意 行为 与 大 脑 是 密 不 可 分 的 。 大 量 研 究 表 明 ， 额 叶 执 行 注 
意 控制 的 储存 和 执行 功能 "。 人 们 的 注意 水 平 制约 于 大 脑 组 织 ， 通 过 检测 脑 电 
波 可 以 判断 人 们 的 注意 水 平 富 ] 。Huang! 等 进行 的 实验 中 根据 a 波 平均 值 把 脑 
电波 分 为 5 个 等 级 ， 通 过 对 照 这 5 个 等 级 与 当事人 的 实际 情况 ， 发 现 a 脑 电波 
平均 值 能 很 好 地 反映 注意 水 平 高 低 。 因 此 脑 电 分 析 是 一 种 直接 的 注意 相关 分 析 
方法 。 但 是 脑 电信 号 很 微弱 ， 需 要 特殊 的 采集 设备 ， 限 制 了 这 种 分 析 方 法 在 许 
多 场合 的 应 用 。 另 外 ， 脑 电波 的 影响 因素 还 很 多 ， 例 如 情绪 、 疲 劳 等 ， 这 会 给 
基于 脑 电 的 注意 水 平分 析 带 来 一 定 不 利 因素 。 

再 者 ， 皮 肤 电导 率 也 是 一 个 与 人 的 注意 水 平 直 接 相 关 的 生理 指标 二 。 皮 肤 
电导 率 ， 也 就 是 皮肤 电 反 应 ， 是 指 当 人 受到 内 部 或 外 部 刺激 而 觉醒 水 平 升 高 时 ， 
皮肤 变 为 电 的 良 导 体 的 现象 。 强 烈 的 情绪 、 人 惊讶 的 事情 、 艰 难 的 作业 、 深 呼吸 、 
训练 、 疼 痛 等 都 会 导致 皮肤 导电 率 的 提升 ， 因 此 只 有 在 限定 很 多 条 件 的 情况 下 ， 
才能 区 分 出 到 底 是 什么 导致 了 皮肤 电导 率 的 升 高 。 由 此 看 来 ， 虽 然 注 意 水 平 变 
化 是 引起 皮肤 电导 率 反 应 的 一 个 直接 因素 ， 但 在 很 多 场景 下 不 能 应 用 皮肤 电导 
率 反 应 来 分 析 人 的 注意 水 平 。 例 如 ， 在 驾驶 员 注 意 水 平 检 测 上 就 有 些 困 难 ， 因 
为 这 时 驾驶 员 不 但 要 注意 集中 ， 还 要 有 一 定 的 加 速 、 制 动 、 转 向 等 动作 ， 而 这 
些 动 作 也 会 引起 皮肤 电导 率 的 提升 。 

最 后 ， 注 意 与 人 们 的 行为 之 间 也 存在 一 个 深层 次 的 关系 。 人 们 普遍 认为 ， 
注意 转移 和 有 眼 动 是 密切 相关 的 。 实 验 表 明 眼 动 和 注意 转移 通常 是 趋 于 同一 位 置 
和 方向 的 2 。 眼 动 是 给 出 人 类 行为 的 重要 线索 。 一 些 人 类 行为 因素 的 专家 认为 ， 
对 驾驶 作业 来 说 周围 视觉 与 中 央 止 视觉 一 样 重要 。Recarte 与 Nunes ^ 研究 了 眼 
睛 有 盯 视 的 焦点 、 持 续 期 、 序 列 间 的 关系 ， 并 着 眼 于 精神 作业 、 视 觉 场 景 、 口 头 
作业 如 何 影 响 驾 驶 员 。 其 重点 放 在 第 二 作业 和 正常 驾驶 时 视线 的 不 同上 。 结 果 
显示 ， 处 理 视觉 场景 时 要 长 序列 和 短 时 间 的 采 视 ， 在 处 理 口 尖 作 业 时 需要 短 时 
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间 的 有 盯 视 。 

当 人 们 注视 的 物体 在 人 脸 前 方 偏转 20° 以 上 时 ， 为 跟踪 该 目标 人 们 不 仅 要 转 
动 眼 睛 ， 还 需要 转动 头 部 : 头 一 腿 系统 的 这 种 组 合 运动 看 起 来 是 要 保证 眼睛 在 
眼眶 的 中 心 位置 " 中 。 因 此 ， 考 虑 头 部 运动 来 判断 注意 方向 也 是 合理 的 。Pelz'”” 
的 实验 展示 出 头 部 方向 是 揭示 注意 视野 的 最 基本 线索 ， 这 个 视野 包括 注意 的 实 
际 焦点 。 

这 样 判断 一 个 人 的 注意 方向 不 仅 需 要 眼睛 信息 ， 还 需要 头 部 转动 角度 信息 。 
早 在 1824 年 ，Wollaston 就 发 现 判断 一 个 人 的 注视 方向 不 单单 需要 虹膜 、 瞳 孔 与 
眼 白 的 相对 位 置 ， 还 需要 头 部 姿势 的 信息 '* 1 。 有 研究 者 的 实验 也 发 现 ， 决 定 一 
个 人 的 注意 方向 同样 还 需要 一 些 不 同 的 线索 ,但 是 他 们 认为 头 部 姿势 与 眼睛 对 
判断 注视 方向 一 样 重要 :2 。 

综合 起 来 看 ， 根 据 驾 驶 员 的 视线 方向 检测 驾驶 员 是 否 发 生 视 觉 分 散 是 比较 
合适 的 方法 。 另 外 ，Zhang' ”等 的 研究 也 表明 驾驶 员 的 视线 特点 与 驾驶 员 的 驾驶 
能 力 、 反 应 时 间 之 间 有 很 强 的 相关 性 ， 可 以 作为 检测 驾驶 员 视 觉 分 散 的 指标 。 
因此 ， 我 们 根据 驾驶 员 的 视线 特征 来 检测 驾驶 员 是 否 发 生 视觉 分 散 。 


2.4.2 驾驶 员 视 线 特 点 


大 量 实验 表明 ， 轰 驶 员 在 正常 行驶 时 ， 其 视线 方向 的 角度 有 80% ~ 90% 时 
间 是 在 俯仰 角 与 横 摆 角 的 +12。 范 围 内 变化 ， 如 图 2-4 所 示 。 另 外 ， 驾 驶 员 发 
生 视觉 分 散 时 ， 驾 驶 员 视 线 只 有 不 到 50% 的 时 间 在 这 个 范围 内 。 因 此 ， 如 果 驾 
驶 员 的 视线 方向 超出 这 个 范围 ， 则 可 以 认为 驾驶 员 视 线 偏 离 前 方 ， 出 现 视觉 
分 散 1。 
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图 2-4 驾驶 员 视线 角度 变化 范围 
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并 不 是 所 有 情况 下 鸭 驶 员 的 视线 偏离 都 会 造成 危险 。 如 果 偏 离 时 间 小 于 1s, 
那么 对 驾驶 能 力 影 响 不 大 。 另 外 ， 低 频率 的 视线 偏离 也 不 会 给 驾驶 能 力 造 成 严 
重 影响 。 只 是 持续 时 间 较 长 、 频 率 高 的 视线 偏离 才 会 影响 驾驶 员 的 驾驶 能 
为 判断 驾驶 员 是 否 视 觉 分 散 ， 就 需要 确定 持续 时 间 及 频率 的 阔 值 ， 持 续 时 间或 
者 频率 高 于 相应 阔 值 的 情况 被 认为 是 不 可 接受 的 。 因 为 确定 此 浆 值 的 复杂 性 较 
高 ， 不 同 研究 者 建立 的 冰 值 也 不 尽 相同 。 

1987 年 Zwahlen 等 认为 : 视线 偏离 4 次 ， 每 次 不 超过 2s 是 可 行 的 ， 但 是 
连续 4 次 2s 的 视线 偏离 是 不 可 接受 的 。 较 短 时 间 (例如 4s) 内 的 4 次 连续 扫 视 
也 是 危险 的 ， 因 为 在 大 脑 中 存储 的 道路 信息 的 总 量 较 低 。Blanco' 定义 了 两 种 
阔 值 “红线 ”标准 ， 视 线 偏 离 严 重 影响 癌 驶 能 力 ; “ 黄 线 ” 标 准 ， 和 驾驶 能 力 发 
生 明 显 变化 。Blanco 提出 的 红线 标准 是 视线 偏离 的 次 数 大 于 9 R, 或 者 持续 时 间 
大 于 2. 5s 的 视线 偏离 。 基 于 85 个 百分点 的 准则 ,假设 手动 调节 收音 机 被 认为 是 
可 接受 的 视觉 分 散 ， 汽 车 制造 协会 制定 的 标准 是 持续 时 间 2s 或 者 偏离 次 数 
10 次 。 

驾 怠 员 视 线 偏离 的 持续 时 间 与 车 辆 发 生 事故 的 风险 存在 一 定 的 正 相 关 性 ， 
如 果 视 线 偏离 前 方 的 持续 时 间 不 超过 2s， 那 么 危险 系数 升 高 很 小 ; 但 当 视 线 偏 
离 前 方 道 路 的 持续 时 间 大 于 2s， 那 么 危险 系数 将 升 高 很 快 !， 不 管 是 出 于 什么 
目的 造成 了 视线 偏离 。 

总 体 来 看 ， 检 测 视 觉 分 散 的 阔 值 一 般 有 两 个 方面 : 

1) 单 次 视线 偏离 持续 的 时 间 。 

2) 一 段 时 间 (例如 20s) 内 视线 偏离 的 次 数 。 

知 以 视线 偏离 的 次 数 为 闽 值 ， 则 需要 较 长 的 时 间 窗 口 ， 而 交通 事故 发 生 在 
很 短 的 时 间 内 ， 因 此 通过 检测 驾驶 员 视 线 偏离 次 数 来 判断 视觉 分 散 ， 对 预防 交 
通 事故 的 作用 不 大 。 本 书 仅 涉及 持续 时 间 上 的 冰 值 。 根 据 其 他 研究 者 确定 的 效 
值 ， 以 及 我 们 自己 的 实验 结果 ， 确 定 的 浆 值 为 2， 即 如 果 视 线 偏离 道路 的 持续 
时 间 超 过 2s， 则 认为 是 不 可 接受 的 视觉 分 散 ， 在 本 书 中 简称 为 视觉 分 散 。 


2.4.3 视觉 分 散 检测 模型 


视线 角度 包括 面部 姿势 与 眼睛 视线 角度 ( 本 书 中 不 加 说 明 的 视线 均 指 二 者 
的 合成 )。 在 各 驶 环境 中 ， 面 部 姿势 对 预测 驾驶 员 的 视线 方向 是 很 有 益 的 ， 如 加 
驶 员 在 看 后 视 镜 或 窗外 风景 时 都 会 华 有 特定 的 面部 姿势 "" ， 根 据 驾驶 员 的 面部 
姿势 能 判断 驾驶 员 有 没有 处 于 视觉 分 散 的 状态 ” 。 当 驾驶 员 的 面部 朝向 的 角度 
偏离 正常 视线 范围 时 ， 就 可 以 判断 驾驶 员 视 线 角度 偏离 正常 行驶 方向 ， 因 为 不 
会 有 驾驶 员 在 偏转 面部 时 还 会 注视 车 辆 前 方 。 但 是 ， 面 部 姿势 在 正常 视线 范围 
之 内 时 ， 驾 驶 员 的 眼睛 视线 也 可 能 偏离 车 辆 前 方 ， 这 时 就 需要 判断 眼睛 视线 
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方向 。 

驾驶 员 在 变换 车 道 、 转 向 时 ， 需 要 转移 视线 来 观察 对 应 道路 ， 特 别 是 在 十 
字 路 口 转向 时 ， 驾 驶 员 视 线 偏离 车 辆 前 方 的 持续 时 间 会 超过 2s， 这 也 被 认为 是 
一 种 视觉 分 散 行为 。 但 这 并 非 是 一 个 危险 情况 ， 所 以 需要 在 视觉 分 散 检测 模型 
中 增加 一 个 各 驶 员 转 向 行为 识别 的 模块 ， 以 降低 视觉 分 散 检测 的 虚 警 率 。 

因此 ， 我 们 确定 一 个 基于 驾驶 员 面 部 姿势 与 驾驶 员 眼 睛 视线 的 检测 ， 并 包 
括 转向 行为 识别 的 视觉 分 散 检测 模型 ， 如 图 2-5 所 示 。 















2-5 驾驶 员 视觉 分 散 检测 模型 
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也 增 大 。 通 过 分 析 各 种 注意 水 平 评价 方法 ， 发 现 根据 视线 特征 可 以 实现 无 侵入 
性 检测 驾驶 员 视 觉 分 散 。 作 者 根据 驾驶 过 程 中 驾驶 员 视 线 变 化 的 特点 ， 建 立 了 
基于 驾驶 员 面 部 姿势 与 视线 方向 识别 ， 并 包含 转向 行为 识别 的 视觉 分 散 检测 
模型 。 
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多 姿势 下 驾驶 员 面部 精确 定位 是 





3.1 概述 





定位 人 脸 区 域 是 估计 驾驶 员 面 部 姿势 的 前 提 。 另 外 ， 在 人 脸 定 位 的 基础 上 
还 可 以 在 一 个 相对 小 的 范围 内 ， 更 容易 地 定位 眼睛 等 人 脸 特 征 点 。 因 此 ， 本 章 
首先 对 驾驶 员 面 部 定位 问题 进行 研究 。 基 于 人 脸 定 位 在 各 种 应 用 中 的 重要 性 ， 
已 有 众多 研究 者 开发 了 各 种 各 样 的 算法 ， 主 要 有 : 基于 知识 的 方法 、 基 于 不 变 
寺 征 的 方法 、 基 于 外 部 特征 的 方法 、 基 于 模板 匹配 的 方法 4 种 和 。 虽 然 人 们 对 
该 问题 进行 了 深入 研究 ， 但 是 人 脸 姿 势 、 表 情 等 还 是 困扰 人 脸 定 位 效果 的 难题 。 
为 解决 人 脸 姿 势 对 人 脸 定位 的 影响 ， 许 多 学 者 提出 各 种 解决 办 法 ， 如 Lee 提出 基 
于 人 脸 特 征 点 定位 的 方法 ， 这 种 方法 可 以 定位 小 角度 范围 内 变化 的 人 脸 ， 当 人 
脸 姿 势 变化 范围 较 大 时 ， 由 于 特征 点 的 丢失 使 该 方法 失效 站 。Chen 等 提出 基于 
Harr- like 特征 (局 部 ) 与 Gabor 特征 (全局) 相 结合 的 方法 定位 多 姿势 人 脸 ” 。 
因为 人 脸 肤色 在 多 角度 下 都 具有 相似 的 聚 类 性 ” ， 可 以 先 根据 人 脸 肤色 的 特征 
进行 人 脸 区 域 大 致 定位 ， 然 后 根据 人 脸 轮 廓 采用 神经 网 络 、 模 板 匹 配 、 三 角 结 
构 等 方法 进行 人 脸 精确 定位 5 。 

分 析 各 种 人 脸 定 位 方法 可 以 看 出 ， 利 用 肤色 特征 可 以 在 多 种 姿势 下 检测 出 
驾驶 员 的 面部 。 基 于 肤色 的 人 脸 定位 的 难点 是 肤色 检测 效果 容易 受 光 照 变化 的 
影响 ， 为 提高 不 同 光 照 下 人 脸 检测 的 鲁 棒 性 ， 需 要 对 采集 的 图 像 进行 一 定 的 光 
照 补 偿 ， 并 根据 经 验 公 式 对 变换 后 的 YCbCr 值 进行 非 线 性 校正 。 

基于 肤色 的 人 脸 定 位 算法 一 般 会 把 人 的 额头 、 颈 部 同时 提取 出 来 ， 而 这 两 
部 分 并 不 利于 检测 驾驶 员 面 部 姿势 。 因 为 头发 的 遮挡 ， 会 使 相同 姿势 下 的 人 脸 
额头 具有 不 同 的 外 观 特征 ， 而 不 同 面部 姿势 下 的 颈 部 区 域 并 没有 多 大 变化 。 而 
嘴 展 、 眼 睛 等 脸 部 特征 是 判断 人 脸 姿势 的 显著 特征 。 因 此 ， 分 析 认 为 利用 精 
确定 位 眉毛 、 嘴 展区 域 的 方法 可 以 限定 人 脸 的 上 下 边界 ， 以 分 割 额 头 、 须 部 区 
域 。 由 于 人 脸 检测 应 用 场合 的 不 同 ， 在 精确 定位 人 脸 时 大 多 没有 包含 人 耳 。 而 人 
的 耳 打 在 估计 人 脸 姿 势 时 是 一 个 很 有 效 的 线索 ， 因 为 根据 平面 图 像 中 耳 打 的 数量 、 
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位 置 、 变 形 等 情况 ， 可 以 判断 人 脸 姿 势 的 大 体 角 度 (正面 、 偏 左 、 偏 右 等 ) 。 

另外 ， 根 据 本 研究 的 实际 情况 ， 可 归纳 出 驾驶 员 视 频 图 像 具 有 以 下 特点 : 

1) 图 像 中 最 多 只 有 一 个 人 脸 。 

2) 图 像 易 受 侧 光 影响 ， 导 致 光照 分 布 不 均匀 。 

3) 眼睛 区 域 不 会 受 强 光照 射 的 影响 。 

4) 驾驶 员 头 部 会 轻微 运动 。 

综合 以 上 各 方面 考虑 ， 本 章 提出 基于 头 部 运动 信息 与 颜色 信息 相 结合 的 方法 
来 检测 驾驶 员 面部 位 置 。 首 先 ， 利 用 运动 信息 及 肤色 模型 进行 人 脸 预 定位 ， 再 根 
HER, JAE. 、 嘴 唇 的 特征 进行 人 脸 精 确定 位 的 方法 ， 并 分 割 面部 网 像 作为 佑 计 
驾驶 员 面 部 姿势 的 样本 ， 最 后 根据 需要 把 分 割 的 面部 图 像 进行 大 小 归 一 化 。 


3.2 基于 运动 信息 的 头 部 区 域 检测 




















3.2.1 运动 目标 检测 方法 


由 于 驾驶 员 在 驾驶 车 辆 时 ， 头 部 是 不 断 运 劲 的 ， 而 在 驾驶 员 视 频 中 的 其 他 
物体 是 相对 不 动 的 ， 因 此 可 以 利用 头 部 运动 信息 来 检测 头 部 位 置 。 运 动 目 标 检 
测 按 背 景 变 化 与 否 可 分 为 摄像 机 运动 、 静 止 两 种 模式 ， 按 技术 划分 可 分 为 光 流 
法 和 图 像 差分 法 !91 。 
交流 法 根据 运动 目标 随时 间 变 化 的 光 流 特性 ， 可 以 有 效 地 提取 和 跟踪 运动 
目标 ， 但 计算 相当 复杂 ， 对 噪声 敏感 ， 且 对 硬件 要 求 也 比较 高 ， 因 此 并 不 适 
合 在 实际 中 应 用 。 

图 像 差 分 法 是 检测 复杂 背景 中 运动 目标 的 一 种 常用 方法 ， 主 要 包括 : 背景 

分 法 和 帧 间 差 分 法 。 

背景 差分 法 是 将 两 幅 图 像 相 减 结果 中 的 像素 值 与 阔 值 进行 比较 ， 如 果 像 素 
值 大 于 阅 值 ， 则 认为 是 前 景点 ， 否 则 为 背景 点 。 该 方法 计算 速度 快 ， 可 以 做 到 
实时 检测 ， 不 足 之 处 是 受 环 境 光 线 变化 影响 较 大 ， 背 景 更 新 较为 复杂 。 算 法 流 
程 图 如 图 3-1 所 示 。 

当前 图 像 


























图 3-1 背景 差分 法 算法 流程 图 
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帆 间 差分 法 是 将 视频 图 像 序列 中 的 相 邻 两 巾 或 三 帧 图 像 相 减 ， 目 的 是 获取 
像 中 运动 像素 点 的 时 间 梯 度 信息 ， 以 此 来 提取 图 像 中 的 运动 区 域 。 算 法 流程 
如 图 3-2 所 示 : 
当前 图 像 


IQ» y» t) 








R| A 









目标 判断 





前 帧 图 像 


图 3-2 帧 间 差 分 法 算法 流程 图 


简单 图 像 差 分 算法 主要 存在 以 下 缺陷 

1) 当 两 帜 图 像 对 应 坐标 稍 有 偏差 时 ， 即 使 两 帧 图 像 非常 相似 ， 其 差分 后 的 
图 像 灰 度 值 也 不 会 趋 于 零 。 

2) 原始 灰 度 图 像 可 能 受到 噪声 干扰 ， 这 会 影响 差分 图 像 的 后 续 处 理 ， 可 以 
将 连续 多 帧 差分 图 像 进行 与 运算 ， 从 而 有 效 地 抑制 噪声 ;也 可 以 对 差分 图 像 进 
行 中 值 滤 波 或 形态 学 滤波 ， 图 像 差分 的 处 理 过 程 一 般 如 图 3-3 所 示 。 





差分 图 像 


I y, t) 
T'(x, y, ttn) 


图 3-3 图 像 差分 处 理 流程 图 








3.2.2 基于 帧 间 差 分 法 的 驾驶 员 头 部 检测 


驾驶 员 在 驾驶 过 程 中 ， 由 于 有 眼睛 不 仅 需要 注视 车 道 前 方 ， 还 需 观察 车 道 左 
右 侧 及 后 视 镜 等 ， 这 就 需要 头 部 时 刻 保持 轻微 的 转动 或 摇动 ， 基 于 此 特点 可 以 
采用 多 帧 图 像 差分 的 方法 进行 驾驶 员 头 部 区 域 检测 。 具 体 算法 如 下 。 

1) 将 彩色 视频 转换 为 灰 度 视频 后 ， 取 长 度 为 n 的 视频 段 ， 本 书 中 n=6， 视 
频 序列 见 图 3-4， 将 图 3-4 进行 相 邻 帧 间 差分 得 到 5 (n-1) 帧 差分 图 像 ， 并 
将 差分 图 像 进行 归 一 化 处 理 ， 使 其 像素 在 0 ~255 范围 内 ， 如 图 3-5 所 示 ， 可 以 
看 出 由 于 驾驶 员 头 部 的 微 动 作 ， 差 分 图 像 中 出 现 了 驾驶 员 的 头 部 轮廓 。 

2) 对 差分 后 图 像 按照 式 (3-1) 进行 滤波 处 理 ， 滤 波 目的 为 去 掉 像 素 值 变 
化 较 小 的 像素 点 ， 滤 波 图 像 如 图 3-6 所 示 。 
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图 3-4 原始 视频 序列 





图 3-5 差分 图 像 





图 3-6 滤波 图 像 
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re L(x,y) ifl.(x,y)=50 ius 
0 else 
式 中 “了 一 一 滤波 后 差分 图 像 ; 
/一 一 滤波 前 差分 图 像 。 
3) 将 滤波 后 的 图 像 进行 或 运算 , 使 其 像素 值 在 0 ~ 255 范围 内 分 布 ， 如 
图 3-7 所 示 。 或 运算 的 目的 是 尽 可 能 得 到 较为 全 面 的 目标 轮廓 (面部 轮廓 ) 
图 像 。 
































图 3-7 或 运算 图 像 


4) 对 或 运算 图 像 进行 数学 形态 运算 ， 以 去 掉 孤 立 点 或 填充 空洞 ;然后 分 别 
在 水 平 、 垂 直方 向 上 进行 积分 投影 ， 投 影 公式 见 式 (3-2) 、 式 (3-3) 所 示 。 投 
影 曲线 如 图 3-8、 图 3-9 所 示 ， 通 过 分 析 投 影 曲线 即 可 定位 出 头 部 位 置 ， 如 
图 3- 10 所 示 。 
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图 3-8 水 平 投影 曲线 
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图 3-9 垂直 投影 曲线 


水 平 积分 投影 
H(i) = Yu) (3-2) 


式 中 有 一 水 平 积分 投影 函数 ; 
/一 投影 图 像 ， 














i, J 一 一 图 像 像 素 点 坐标 ,1 <i<m, 1<j<n; 
m 一 一 网 像 行 数 ; 
n 图 像 列 数 。 
垂直 积分 投影 图 3-10” 头 部 定位 效果 
VG) = DIG) (3-3) 


式 中 “一 一 垂直 积分 投影 函数 ; 
/一 一 投影 图 像 ， 
i, Jj 一 一 图 像 像 素 点 坐标 , 1 <i<m, 1<j<n; 
mm 一 一 图 像 行 数 ，; 
图 像 列 数 。 
投影 曲线 存在 众多 毛刺 ， 不 利于 曲线 处 理 ， 需 进行 曲线 平滑 处 理 ， 平 请 公 
式 如 下 列 公 式 所 示 





n 


Yo) 

Wa) = n (3-4) 
Y vo) 

VG) E EE (3-5) 
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XP 4<i<m-3, 4<j<n-3, 
基于 差分 算法 的 头 部 检测 定位 流程 图 如 图 3-11 所 示 。 


Tr) 


预 处 理 


灰 度 视频 序列 





归 一 化 


Ip y» D» tts Doo y, tn) 


多 帧 差分 
Io ys Oy tt Lx, y, tn-l) 
TRAY 


I ul. 


图 3-11 基于 差分 的 头 部 定位 流程 图 
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基于 帧 间 差 分 的 头 部 检测 算法 计算 量 小 ， 可 以 达到 实时 运算 的 要 求 。 然 而 ， 
由 于 在 驾驶 室内 可 能 存在 其 他 运动 物体 的 干扰 ， 使 得 该 方法 的 检测 精度 不 是 很 
高 ， 经 常会 出 现 检测 失败 的 情况 。 为 此 ， 该 方法 需 与 其 他 的 检测 方法 相 结合 使 
用 ， 阁 通过 差分 法 不 能 检测 到 人 脸 ， 则 接着 启用 第 三 种 检测 手段 。 本 书 采 用 肤 
色 检 测 法 检测 驾驶 员 的 面部 。 


3.3 ”建立 肤色 混合 高 斯 模型 





3.3.1 彩色 空间 选择 


在 计算 机 中 应 用 的 彩色 空间 有 RGB, CMYK, YCrCb, YUV, YIQ, HSI 4, 
其 中 RGB 是 最 基本 的 彩色 系统 ， 对 应 于 人 类 视觉 的 三 基色 即 红 、 绿 、 蓝 三 种 颜 
色 ， 该 空间 由 R (20), G (ak) ME (B) 三 个 分 量 组 成 ， 分 别 与 三 维 空间 中 
的 三 个 轴 对 应 。 原 点 对 应 于 黑色 ， 离 原点 最 远 的 顶点 对 应 于 白色 ， 其 他 颜色 落 
于 由 红 、 绿 和 蓝 三 基色 组 成 的 彩色 立方 体 中 。 

不 同 彩色 空间 下 的 人 脸 检 测 有 所 不 同 ， 检 测 效 果 也 不 尽 相 同 。Benjamin 
等 9 发 现在 HIS 和 YCrCb 空间 上 的 实验 效果 要 相对 理想 。 而 YCrCb 空间 由 于 转 
换 方法 简单 ， 并 且 能 够 实现 亮度 和 色 度 分 量 比 较 彻 底 的 分 离 '" ， 因 此 我 们 可 以 
选择 在 YCrCb 彩色 空间 建立 肤色 模型 。 其 中 Y 指 亮 度 ， 通 常 把 Cb，Cr 叫做 色 
度 ， 因 而 实现 了 亮度 和 色 度 的 分 离 ， 并 且 在 YCrCb 彩色 空间 中 肤色 的 聚 类 特性 
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NEST 见 觉 分散 特征 识别 及 检测 方法 
比较 好 。 
RGB 和 YCrCb 空间 的 转换 如 式 (3-6) 所 示 
了 0.2990 0.5870 0.1140 0 
»| | -0.1687 -0.3313 0.5000 128 


C 
C,| | 0.5000 -0.4187 -0.0813 128 
1 0 0 0 1 


(3-6) 
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3.3.2 YCbCr 空间 下 的 肤色 混合 高 斯 模型 


肤色 模型 ， 用 一 种 代数 (解析 ) 或 查 表 的 形式 来 表达 哪些 像素 的 色彩 
属于 肤色 ， 或 者 表征 出 某 一 像素 的 色彩 与 肤色 的 相似 程度 。 肤 色 模 型 是 与 彩 
色 空 间 相 联系 的 ， 也 就 是 说 肤色 模型 的 建立 需要 结合 不 同 的 彩色 空间 ， 下面 
在 YCrCb 彩色 空间 中 建立 肤色 模型 。 人 上 脸 肤色 建 模 的 方法 很 多 ， 如 高 斯 模 
型 、 神 经 网 络 模型 、 几 何 模型 等 ， 并 各 自 具 有 优 缺 点 咏 ] 。 几 何 模 型 与 神经 
网 络 模型 本 质 上 属于 二 值 化 模型 。 对 于 高 斯 模型 ， 它 是 通过 计算 像素 的 概率 
值 构成 连续 数据 信息 ， 并 由 此 得 到 一 个 肤色 概率 图 ， 然 后 根据 肤色 概率 图 上 
的 不 同 数值 来 完成 肤色 像素 的 定位 ， 是 一 个 适合 于 本 书 所 需 人 脸 定 位 的 肤色 
模型 。 

不 同人 的 皮肤 颜色 在 YCrCb 彩色 空间 中 色 度 信息 C, C, 具有 相似 的 分 布 特 
性 ， 并 且 人 脸皮 肤 的 颜色 信息 C.、C, 组 成 矢量 X= (C,,C,) 的 分 布 基本 符合 高 
斯 分 布 的 规律 中 WWE 3-12 a 所 示 。 

该 肤色 分 布 模型 的 概率 密度 函数 可 以 表示 为 


A(X) = -3X -WCX =) (3-7) 


RP p=(C.,C,)"。 
该 向 量 中 两 个 值 分 别 指 的 是 颜色 分 量 C,, C, 的 均值 ，C 是 C,, C, 的 协 方差 


和 矩阵 
li Ü | 
C= (3-8) 


0, 9 y, ; 





















































1 
2m | C| aen| 


XP oo. oy, ——^4 9e C, C, 的 方差 ; 
Tas Fy — THE C, C, 的 协 方差 。 
然而 ， 人 脸 部 位 在 高 光 、 阴 影 的 影响 下 ， 人 脸 肤 色 模 型 不 再 是 单一 的 高 斯 
模型 ， 肤 色 模 型 可 以 表示 为 4 个 高 斯 函数 组 成 的 简化 混合 高 斯 模型 ”站 
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a) 人 脸 肤 色 C。、C 分 布 图 











b) 人 脸 肤 色 高 斯 模型 
图 3-12 YCrCb 空间 中 人 脸 肤色 分 布 
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本 
1 [903 TYT258 0 T'(. [903 
PY BERN Qd E ml lo bel a 让 
1 [100.2]Y[49..8 0 [| | 100. 2 
fot) OED cus dim P Lo 3 ;| de Ee 
Nie da PO (3-9) 
1 109]1/[79.2 0 110.9 
Ed Ulins ea ee d 0 kl eu 
1 125.1 (0 0 1 125. 1 
C x- [5 0 rel 7 n) 
式 中 x-[6,C.]; 
% 一 一 像素 点 o 
则 某 像素 属于 该 混合 高 斯 模型 的 概率 为 
HA) 50.167 CO) 40.915 A GO 40:235: 60 (3-10) 








根据 C, C, 组 成 的 向 量 即 可 计算 该 像素 属于 皮肤 的 概率 。 
3.4 驾驶 员 面 部 预定 位 


基于 肤色 定位 人 脸 的 缺点 是 定位 效果 容易 受 光 照 变 化 的 影响 ， 为 提高 不 同 
光照 下 人 脸 定 位 的 鲁 棒 性 ， 可 以 对 采集 的 图 像 进行 一 定 光 照 补偿 ， 并 根据 经 验 
公式 对 变换 后 的 YCrCb 值 进行 非 线性 校正 。 

光照 对 图 像 的 影响 主要 分 为 图 像 过 亮 和 图 像 过 暗 。 光 照 太 强 ， 可 导致 CCD 
的 感光 元 件 超载 ， 失 去 分 辩 能 力 ， 导 致 图 像 曝光 过 度 并 且 完 全 丧失 细 闻 信息 ， 
无 法 进行 修补 ; 光照 太 弱 使 得 CCD 感光 较 少 ， 导 致 曝光 不 足 ， 采 集 的 图 像 偏 瞳 ， 
隐藏 较 多 细节 信息 ， 同 样 不 利于 后 续 处 理 。 人 脸 检 测 系统 常 对 光照 条 件 做 出 一 
定 的 限制 ， 采 集 图 像 的 光照 基本 均匀 ， 仅 人 允许 小 范围 内 的 光照 强度 变化 。 然 而 ， 
实际 的 图 像 采集 环境 中 往往 会 有 偏光 、 侧 光 、 高 光 的 存在 ， 导 致 采集 的 图 像 亮 
度 不 均 、 过 亮 或 过 暗 ， 这 些 都 会 使 人 脸 检 测 率 大 幅度 下 降 。Adini EAU 的 研究 
显示 ， 光 照 变化 对 人 脸 检 测 系统 性 能 影响 巨大 ， 同 一 个 人 在 不 同 光照 条 件 下 ， 
图 像 差 距 会 非常 大 。Jacobs 等 人 "对 人 脸 光 照 图 像 进 行 详细 分 析 后 得 出 结论 : 
人 脸 图 像 的 像素 值 会 随 着 光照 条 件 的 改变 而 变化 ， 很 多 时 候 会 大 于 人 的 不 同 所 
引起 的 差异 。 在 文献 [17] 中 指出 光照 条 件 变 化 是 导致 人 脸 识 别 率 下 降 的 主要 
原因 ， 光 照 问题 是 图 像 处 理 中 的 关键 问题 之 一 。 图 3- 13 为 Yale Faces 库 中 人 在 
不 同 光照 条 件 下 的 图 像 ， 可 以 看 出 像素 值 随 光 照 强度 变化 而 出 现 剧 烈 变化 。 

在 人 脸 检测 系统 中 解决 光照 问题 的 方法 有 : 

1) 建立 光照 模型 或 人 脸 模型 ,例如 光照 锥 方法 "和 基于 光照 样本 的 方 
WEP) ， 此 类 方法 理论 性 强 ， 但 其 假设 过 多 ， 在 实际 场景 中 难以 满足 条 件 。 
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图 3-13 不 同 光 照 条 件 下 的 人 脸 图 像 


2) 提取 光照 不 变 特征 ， 如 基于 边缘 的 图 像 特征 有 : ERMA, HER. Ga- 
bor 特征 和 角 点 等 .1 ; 基于 图 像 的 方法 有 : Eigenface, Fisher-face FE, WARM 
图 像 等 ”2 。 

3) 光照 补偿 法 。 对 于 均匀 光照 变化 常用 的 方法 有 : 直方 图 均衡 法 、Gamma 
校正 法 、 对 数 变 换 法 等 汪 ] ; 对 于 非 均匀 光照 变化 常用 的 方法 有 : 自 适应 直方 图 
均衡 法 和 分 块 直方 图 均衡 法 、 非 线性 自 适 用 法 、 方 差 滤 波 器 法 '*”|。 此 类 算法 
较 简 单 ， 但 这 些 方法 对 图 像 的 校正 并 不 理想 ， 在 性 能 上 往往 难以 达到 理想 效果 。 

本 章 提出 一 种 新 的 基于 图 像 分 解 和 MSR 算法 相 结合 的 光照 补偿 方法 ， 该 方 
法 共 分 四 个 部 分 :图像 分 解 、 光 照 补偿 、 图 像 合 成 和 光照 均衡 。 基 于 空间 梯度 
方法 的 图 像 分 解 首先 将 原始 图 像 分 解 为 高 频 、 低 频 图 像 ， 光 照 信息 完全 包含 在 
低频 图 像 中 ; 然后 对 低频 图 像 应 用 MSR 算法 进行 光照 补偿 ， 将 较 暗 区 域 增 亮 ; 
将 补偿 后 的 低频 图 像 和 高 频 图 像 合 成 ， 并 进行 光照 均衡 得 到 新 图 像 。 


3.4.1 基于 图 像 分 解 和 MSR 算法 的 光照 补偿 


环境 中 的 光照 和 物体 材料 自身 的 一 些 属性 决定 了 物体 表现 出 不 同 的 颜色 。 
物理 光学 研究 了 光照 射 物体 时 所 表现 的 特性 ， 当 光照 射 物体 时 ， 由 于 物体 属性 
不 同 ， 而 导致 吸收 不 同 波长 的 区， 例如: 当 用 白光 照射 物体 时 ， 如 果 物 体 只 吸 
收 黄色 光 ， 则 按 补 色 原理 ， 该 物体 显示 的 是 蓝 色 ,物体 表 面 颜色 取决 于 该 物体 
反射 出 光 的 波长 。 

光照 模型 一 般 分 为 局 部 光照 模型 和 全 局 光照 模型 两 种 。 局 部 光照 模型 只 人 研 
究 直 接 光 源 对 物体 的 照射 ,不 考虑 周围 环境 中 其 他 反射 光 的 影响 ， 并 假定 物体 
表面 光滑 ， 所 用 材料 是 理想 材料 。 该 模型 虽然 与 实际 的 光照 效果 相差 较 大 ， 但 
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由 于 计算 简单 ， 并 能 模拟 部 分 不 透明 物体 的 光照 效果 ， 使 物体 的 显示 具有 真实 
感 ， 因 此 ， 该 模型 具有 一 定 的 实用 价值 。“ 朗 伯 反 射 模型 ”属于 局 部 光照 模型 。 
根据 朗 伯 反射 模型 理论 ， 图 像 可 以 表示 为 
I(x,y) =p(x,y) n(x,y) s(x,y) (3-11) 
式 中 p(x,y) 一 一 图 像 坐 标点 (x, y) 对 应 的 物体 表面 反射 系数 ， 仅 由 物体 材 
质 决定 ， 而 与 光照 无 关 , 0<p(x,y) <1; 
n(x,y) 一 一 图 像 坐 标 (x, y) 对 应 物体 的 表面 法 向 量 ; 
s(x,y) 一 一 点 光源 在 (x, y) 点 上 的 入射 方向 ， 其 幅 值 为 人 射 光 强度 。 
全 局 光照 模型 除 考 虑 光源 照射 物体 的 效果 外 ， 还 考虑 周围 物体 反射 光 对 它 
的 影响 ， 因 此 物体 表面 颜色 是 所 有 照射 到 该 物体 表面 上 的 光 综 合 后 的 效果 ， 其 
强度 为 所 有 光 强 度 之 和 ， 这 种 模型 虽 较 真实 地 模拟 了 客观 世界 中 的 三 维 物体 ， 
但 计算 较 复杂 '*] 。 
若 定 义 r(x,y) =p(x,y)n(x,y) ,L(x,y) =s(x,y) 则 可 以 得 到 全 局 的 辐 照 度 
模型 


























I(x,y) 2r(x,y) xl(x,y) (3-12) 
式 中 r(x,y) 一 一 物体 表面 (x, y) 点 的 反射 系数 , 0<r(x,y) <1; 
/xy) 一 一 光照 度 。 

Retinex 理论 是 Land 5&7" F 1963 年 提出 的 ， 是 解释 人 类 视觉 如 何 调节 感知 
到 物体 颜色 和 亮度 的 模型 Retinex 是 由 Retina (视网膜 ) 和 Cortex (大 脑 皮 层 ) 
两 个 单词 合成 而 来 的 。 该 模型 的 基本 思想 是 : 人 感知 到 某 点 的 光照 并 不 只 取决 
于 该 点 的 绝对 光照 值 ， 还 和 其 周围 的 光照 值 有 关 ，Retinex 诠释 了 同一 物体 在 不 
同 光源 或 光线 下 颜色 恒定 (Color Constancy) fy ALEE 299" 。 

用 Retinex 理论 去 除 光 照 影响 时 ， 从 模型 上 来 讲 就 是 要 由 图 像 Kx,y) 中 求解 
反射 图 像 R(x,y) 和 光照 图 像 L(x,y)。 为 求解 该 不 定 方程 ， 由 Retinex 理论 衍生 
出 的 Retinex 去 光照 算法 做 了 如 下 约束 : 光照 L(x,y) 在 图 像 空 间 上 是 平滑 的 ， 而 
BON RRR (x,y) AR, (x, y) EQ, Q 为 一 小 邻 域 ; 同时 要 求 L(x,y) > 
R(x,y) ， 即 光照 的 值 接 近 图 像 的 亮度 值 。 

根据 Retinex 理论 ， 原 始 图 像 (x,y) 是 光照 图 像 L(x,y) 和 反射 图 像 R(x,y) 
的 乘积 














I(x,y) 2 L(x,y) XR(x,y) (3-13) 

光照 图 像 L(x,y) 决定 了 一 幅 图 像 中 像素 所 能 达到 的 动态 范围 ， 而 反射 图 像 
R(x,y) 决定 了 一 幅 图 像 的 内 在 性 质 。 式 (3-12) 与 式 (3-11) 类 似 ， 可见 Ret- 
inex 理论 符合 辆 照度 模型 。Retinex 理论 的 实质 就 是 从 原始 图 像 Kx,y) 中 获得 物 
体 的 反射 图 像 R(x,y) ， 以 消除 光照 不 均 的 影响 ， 保 持 图 像 颜色 恒 党 性， 压缩 图 
像 动 态 范围 ， 提 高 对 比 度 ， 有 效 地 显示 淹没 在 阴影 区 域 中 的 细节 ， 以 改善 图 像 
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的 视觉 效果 ， 因 而 该 理论 在 图 像 增强 处 理 中 有 着 广泛 应 
Retinex 算法 首先 将 图 像 像 素 转 化 到 对 数 域 .|， coe 
对 数 运算 ， 得 到 式 (3-13) 
log/(x,y) 2logL(x,y) *logR(x,y) (3-14) 
经 对 数 运算 后 式 (3-12) 由 乘法 运算 简化 为 加 法 运算 ， 提 高 了 系统 的 计算 
REJI, Land? 提出 了 输出 函数 为 
R'(x,y) zlogl(x,y) - log F(x,y)  I(x,y)) (3-15) 
HP R'(x,y) =logR(%,y)。 
Jobson 等 人 加 将 F(x,y) =e |” I 人 “命名 为 中 DM 并 且 表 示 为 
F(x,y) =F(x,y,0) = Ke Yet (3-16) 
RP K 一 一 由 归 一 化 条 件 F(x,y,o)drdy = 1 来 确定 ; 
0o 一 一 高 斯 函数 的 标准 偏差 。 
标准 差 e 的 选择 会 直接 影响 图 像 增 强 的 效果 ， 当 o 取 较 小 值 时 ， 能 够 较 好 
地 进行 动态 范围 的 压缩 ; RZ, o 取 较 大 值 时 ， 图像 色 感 一 致 性 较 好 。 在 实际 
处 理 中 ,通常 是 在 动态 范围 压缩 和 图 像 色 感 一 致 性 之 间 寻 找平 衡 点 ， 如 果 要 在 
图 像 的 动态 范围 压缩 及 图 像 的 色 感 一 致 性 这 两 方面 都 取得 良好 的 效果 ， 需 采用 
多 尺度 Retinex 算法 。 
多 尺度 Retinex (Multi- Scale Retinex, MSR) 算法 不 仅 可 以 很 好 地 将 图 像 进 
行动 态 压 缩 ， 还 可 更 好 地 保持 图 像 的 细节 信息 2] ， 计 算 公 式 如 下 






































R(x,y) = Yel [log(4(x,y)) -log( F,(x,y) *1(x,))] (3-17) 
式 中 一 对 应 尺度 权重 系数 





F(x,y) 一 一 对 应 尺度 中 心 孙 数 。 

试验 结果 显示 :2 : e 一 般 取 大 、 中 、 小 三 个 尺度 ， 每 个 尺度 的 权重 根据 侧 
重点 的 不 同 需 要 来 选取 。 

Retinex 算法 的 物理 意义 是 : 在 对 数 空间 中 将 原 图 像 减 去 高 斯 函数 与 原 图 像 
的 卷 积 ， 如 式 (3-14) 所 示 ， 卷 积 实际 上 是 图 像 的 平滑 部 分 OCRE), WF 
的 是 图 像 的 高 频 部 分 〈 反 射 图 像 ) ， 从 而 突出 了 原 图 像 中 的 细节 。 因 此 ， 对 于 图 
像 中 存在 的 阴影 区 域 ， 通 过 Retinex 算法 增强 后 ， 可 以 突出 暗 区 域 中 的 细节 。 

将 图 像 分 解 为 高 频 和 低频 两 部 分 ， 高 频 图 像 主 要 包含 图 像 的 细节 成 分 ， 低 
频 图 像 包 含 图 像 的 光照 成 分 ， 这 样 在 对 图 像 进 行 光照 补偿 时 ， 只 需 补偿 低频 图 
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像 即 可 。 因 此 ， 该 方法 可 以 最 大 限度 地 保留 图 像 的 边缘 细节 ， 以 便 图 像 的 后 续 
处 理 。 
图 像 梯 度 是 图 像 处 理 中 的 一 个 常用 的 局 部 不 连续 度 测量 方法 ,不 连续 度 反 
映 了 图 像 中 每 个 像素 点 与 邻 域 像素 点 的 不 连续 水 平 ， 将 当前 像素 值 与 邻 域 像素 
值 进行 差分 运算 得 到 梯度 值 ， 具 体 计 算 如 下 
VI= |I(x,y) -71(i,) | (3-18) 

式 中 7(i, 站 一 一 当前 像素 I(x,y) 邻 域 的 像素 值 。 

对 于 彩色 图 像 ， 分 别 计算 每 个 通道 的 差分 。 当 差分 值 满足 V1 >k 时 ， 认 为 图 
像 颜色 变化 明显 ， 通 过 实验 得 =15。 

定义 局 部 空间 有 效 平均 梯度 


VI(x,y) = D X osubealGn - IG) — (3-19) 


式 中 0Q 一 像素 点 (x, y) 的 邻 域 ; 
Ci, 门 一 像素 在 邻 域 中 的 位 置 ， 选 用 3 x3 邻 域 ; 
有 一 一 决定 差分 有 效 性 的 参数 ， 定 义 如 下 


























] f Vl/,,>15 
hex = Y 3-20 
ME I. else 
N ,一 归 一 化 系数 ， 计 算 公式 如 下 
N _ | 2. aa ite fd anea en? 0 (3-21) 
Gu) 7 | 
1 x ana a 0 





WR kap >15， 认 为 是 一 次 有 效 盖 分 。 有 效 差 分 的 平均 值 称 为 局 部 空间 有 
效 平局 梯度 ， 这 种 梯度 处 理 接近 各 向 异性 扩散 ， 可 以 有 效 地 保持 图 像 细 节 ， 梯 
度 图 像 如 图 3-14b 所 示 。 








a) 原始 图 像 Í b) 梯度 图 
图 3-14 人 脸 图 像 
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可 以 看 出 梯度 图 像 只 包含 图 像 的 细节 ， 并 不 包含 变化 缓慢 的 光照 信息 ， 樟 
度 图 像 又 称 为 高 频 图 像 ， 因 此 ， 对 原 图 像 进行 光照 补偿 可 以 先 滤 掉 该 部 分 与 兆 
照 无 关 的 图 像 。 
图 像 分 解 是 在 空间 域 上 进行 的 像素 级 分 解 ， 把 原始 输入 图 像 分 解 为 梯度 图 
像 和 光照 图 像 两 部 分 ， 梯 度 图 像 包含 细节 信息 ， 光 照 图 像 包含 光照 信息 ， 分 解 
定义 如 下 




















T(x,y) =I(x,y) -VI(x,y) (3-22) 
式 中 T(x,y) 一 一 光照 图 像 ; 
1(x,y) 一 一 原始 输入 图 像 。 
对 原始 图 像 图 3-14a 进行 图 像 分 解 ， 分 解 后 图 像 如 图 3-15 所 示 。 














图 3-15 光照 图 像 


从 图 3-15 中 可 以 看 出 ， 由 于 去 掉 了 图 像 的 大 部 分 细节 信息 ， 使 得 分 解 后 的 
光照 图 像 变 得 模糊 不 清 ， 但 是 该 图 像 包含 了 大 量 光 照 信息 ， 光 照 图 像 又 称 为 低 
频 图 像 。 对 原始 图 像 的 光照 补偿 就 可 以 转化 为 对 光照 图 像 的 光照 补偿 ， 补 偿 后 
再 还 原 为 原始 图 像 即 可 。 

采用 MSR 方法 补偿 彩色 图 像 ， 对 彩色 图 像 的 处 理 方 法 有 两 种 : 

一 是 在 RGB 每 个 通道 上 分 别 采用 MSR 方法 进行 光照 补偿 。 

二 是 从 RGB 三 个 通道 中 计算 光照 信息 一 一 亮度 ， 只 对 亮度 运用 MSR 方法 进 
行 补偿 。 

本 书 采 用 第 二 种 方法 进行 光照 补偿 ， 取 RGB 三 个 通道 上 的 最 大 值 ， 作 为 亮 
BE H(x,y)R9f&, BI 

H(x,y) 2 max(Ia(x,y) ,Ie(x,y) ,Ts(%,y)) (3-23) 
式 中 x,y), T(x,y) Uy (x,y) 分 别 为 光照 图 像 了 在 点 (x, y) 处 的 R、 
G、B 三 分 量 像素 值 。 
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通过 计算 三 个 通道 的 最 大 值 求 出 光照 信息 ， 只 对 光照 信息 进行 MSR 运算 ， 
这 样 可 节省 大 量 计算 时 间 。 对 MSR 补偿 算法 采用 三 个 尺度 ， 即 大 、 中 、 小 三 个 
尺度 取 平均 ， 实 验 测试 得 出 三 尺度 分 别 为 20、100、260 时 效果 最 好 。 通 过 式 
(3-16), 24 H(x,y) Z MSR 处 理 后 的 亮度 H' (x,y) o 
通过 用 MSR 方法 对 光照 成 分 进行 光照 补偿 后 ， 获 得 了 增强 后 的 亮度 图 像 。 
利用 光照 图 像 中 的 色彩 信息 ， 通 过 简单 的 线性 变换 即 可 恢复 出 增强 后 图 像 的 彩 
色 信 息 ， 由 于 恢复 后 的 图 像 各 像素 点 的 R、G、B 三 分 量 的 比例 关系 保持 不 变 ， 
因而 能 够 较 好 地 保留 原始 图 像 中 的 颜色 信息 。 增 强 后 彩色 图 像 的 恢复 方法 
ty Fo 











D(x,y) 2r(x,y) xL (x,y) (3-24) 
式 中 JP 一 一 恢复 后 的 光照 图 像 ， 
通道 , 分 别 为 R、G、B; 
PRAE i y) 处 的 比例 因子 
(x,y) 一 一 原始 光照 图 像 。 
比例 因子 > 计算 如 下 











LH'(x,y) 
r(x,y) ~ H(x,y) (3-25) 


式 中 H'——% MSR 处 理 后 图 像 亮度 分 量 ; 
如 一 一 原始 图 像 亮 度 分 量 。 

图 3-16 为 恢复 后 的 光照 图 像 ， 与 图 3-15 对 比 可 以 看 出 ， 图 像 左 侧 较 暗 区 域 
亮度 增 大 ,该 方法 有 效 地 对 图 像 进行 了 光照 补偿 。 

用 MSR 方法 对 低频 图 像 〈 光 照 图 像 ) 进行 光照 补偿 后 ， 去 除了 光照 信息 
影响 ， 较 好 地 解决 了 偏光 问题 ， 但 缺少 图 像 细 节 ， 即 高 频 图 像 ， 需 将 高 、 "i 
图 像 重 构 ， 具 体 方 法 如 下 

L(x,y) 2l'(x,y) +VI(x,y) (3-26) 
式 中 La, —— HRS IE CLE ER ; 
有 (xy) 一 一 通过 式 (3-23) 得 到 的 低频 图 像 ; 
V1(x,y) 一 式 (3-18) 得 到 的 高 频 图 像 。 
重 构 后 的 图 像 超出 了 显示 设备 的 动态 范围 ， 利 用 下 式 进行 归 一 化 


























L, — h min 
1, =255 x ee. (3-27) 


h max 


式 中 No eiie, 
重 构图 像 T, 的 最 大 像素 值 。 
NES en, 化 后 ， 如 图 3-17 所 示 。 
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TAJ 3 
图 3-16 恢复 后 的 光照 图 像 图 3-17 重 构图 像 


基于 图 像 统 计 特性 的 S 曲线 函数 ， 可 以 增强 图 像 中 的 较 暗 区 域 或 降低 图 像 
中 的 较 亮 区 域 。$ 曲线 定义 如 下 


k 
L(x,y) 255 (I eco +) (3-28) 


式 中 /一 一 均衡 后 图 像 ; 
/一 一 原始 彩色 RGB AUR, 0<1(x,y) «255; 
k,, ky, ks —JH—-th AR; 
太一 一 决定 曲线 倾斜 度 的 参数 ; 
一 一 像素 特性 参数 ， 决 定 曲 线 水 平方 向 位 移 的 参数 ， 在 此 hh =2、 
k,-1, k, 21, k, 21, 

从 图 3-18 中 可 以 看 出 : k, 值 越 小 ， 曲 线 越 陡峭 ， 对 应 输出 像素 值 变 大 ; k, 
值 越 大 ， 曲 线 越 平缓 ， 对 应 输出 像素 值 变 小 。 反 方向 调节 像素 值 ， 当 处 理 暗 区 
SINS, k, 应 该 取 较 小 值 ， 使 图 像 变 亮 ， 处 理 亮 区 域 时 ，%, 应 该 取 较 大 值 ， 使 图 
GEN, k, 取 局 部 图 像 的 平均 值 ， 具 体 计 算 公 式 如 下 

h(x,y) =ce 7 0*7 x (x, y) (3-29) 
tH er 高 斯 分 布 的 标准 偏差 ; 
由 归 一 化 条 件 [s (x,y) drdy = 1 确定 。 


图 3-19 为 利用 式 (2-17) 对 重 构图 像 (图 3-17) 进行 均衡 后 的 结果 ， 可 以 
看 出 均衡 后 的 图 像 亮 度 分 布 更 加 均匀 ， 人 脸 肤 色 特 点 更 加 明显 ， 为 后 续 检测 奠 
定 了 基础 。 

本 书 所 用 算法 流程 如 图 3-20 所 示 。 

为 验证 算法 的 有 效 性 进行 实验 研究 ， 主 要 与 McCann’ s Retinex、DCT、 小 波 
及 直方 图 算法 进行 比较 。 效 果 如 图 3-21、 图 3-22 所 示 。 




















C 
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L(x, y) 

















Ix, y) 


图 3-18 S 曲线 





图 3-19 均衡 图 像 


图 3-21 为 原始 图 像 (图 3-14a) 采用 直方 图 补偿 法 、 离 散 余 弦 补 偿 法 、 小 
波 补偿 法 及 Retinex 补偿 法 处 理 后 的 效果 图 。 图 3- 22 为 另 一 组 实验 图 像 。 
图 3-21a 和 图 3-22b 为 采用 直方 图 算法 的 结果 ， 发 现 图 像 阴暗 处 的 亮度 依然 较 
低 ， 不 能 很 好 地 显示 出 细节 ; 图 3-21b 和 图 3-22c 为 离散 余弦 变换 结果 ， 结 果 显 
示 图 像 整体 依然 较 暗 ， 细 节 不 清楚 ， 甚 至 不 如 直方 图 处 理 的 结果 ; 图 3-21c 和 
图 3-22d 为 小 波 算法 ， 图像 整体 变 亮 , 但 丢失 部 分 细节 ， 图 像 对 比 度 变 小 ; 
图 3-21d 和 图 3-22e 为 McCann’ s Retinex 算法 处 理 结果 ， 图 像 整 体 变 亮 ， 但 丢失 
较 多 细节 信息 ， 特 别 是 肤色 信息 丢失 严重 。 图 3-19 和 图 3-226 为 本 书 算法 处 理 
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图 像 分 解 


3l 
高 频 图 像 





























图 3-20 光照 补偿 流程 


b) RAR 








c) 小 波 d) Retinex 
图 3-21 各 处 理 方法 比较 
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KA ^ut és 
(3 
e) Retinex D) 本 书 算法 





图 3-22 各 处 理 方法 比较 


结果 ， 与 前 面 四 种 算法 相 比 ， 图 像 亮度 和 对 比 度 都 得 到 了 很 好 的 增强 ， 表 现 出 
了 更 多 的 图 像 细 节 信 息 。 


3.4.2 肤色 区 域 检测 


根据 式 (3-5) 计算 转换 后 图 像 中 像素 属于 模型 的 概率 值 ， 利 用 归 一 化 的 方 
法 将 概率 值 转化 为 0 ~255 之 间 的 整数 值 ， 得 到 被 检测 彩色 图 像 的 灰 度 图 ， 灰 度 
图 可 直观 反映 出 各 像素 点 的 颜色 与 肤色 的 相似 程度 ， 灰 度 值 越 高 的 地 方 越 接 近 
肤色 ， 如 图 3-23a 所 示 ， 并 计算 灰 度 图 像 对 应 的 灰 度 直方 图 ， 如 图 3-23b 所 示 。 
选取 合适 的 浆 值 ， 将 灰 度 图 像 二 值 化 ， 可 以 分 制 出 图 像 的 肤色 区 域 。 二 值 
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化 方法 主要 有 双 峰 直方 图 阐 值 分 割 法 、 模 糊 聚 类 分 析 法 、 最 大 类 间 方 差 闵 值 分 
制 法 等 引 。 为 自 适应 获取 二 值 化 图 像 的 阔 值 ， 本 书 采用 二 值 化 效果 较 好 的 最 大 
类 间 方 差 闵 值 分 割 法 '” 。 





























a) 肤色 相似 度 图 像 

















4000 4000 4000 
3% 3000 3% 3000 =X 3000 
88 2000 & 2000 & 2000 
1000 1000 | 1000 M | 
0 Di 9 hdd 9 (CE E | 
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b) 灰 度 直方 图 
图 3-23 肤色 相似 度 图 像 及 灰 度 直方 图 














最 大 类 间 方 差 闪 值 分 割 法 将 灰 度 直方 图 在 某 一 闽 值 处 分 割 成 两 组 ， 当 两 组 
之 间 的 方差 为 最 大 时 决定 国 值 。 设 一 幅 图 像 的 灰 度 值 为 1 ~M 级 ， 灰 度 值 为 i 的 
像素 数 为 n;,， 可 以 得 到 以 下 参数 。 

总 像素 数 





N= Èn, (3-30) 
各 灰 度 值 像素 数 出 现 的 频率 为 
忆 2n/N (3-31) 
然后 将 所 有 的 像素 用 天 将 其 分 成 两 组 S, = 11 -KI HIS, 2 IK -1- MI, Bl] S, 
发 生 的 概率 为 





No = dpi = n(K) (3-32) 
5 发 生 的 概率 
= y= 1 - ak) (3-33) 


So 的 平均 值 


5] < 











x p, _ ACK) 
badn a) ve) 
S, 的 平均 值 
_ ip A -A(K) 
Me Dy aR) iin 
式 中 icd 图 像 所 有 像素 灰 度 的 平均 值 ; 


i=l 





A, = D ip, IEIET K RREFEN. 


定义 S 、5, 两 组 间 的 方差 为 
o (K) =7o(Ao —A) +, (A, -A)* 
= 197, (A; 7A (3-36) 
寻找 1~M EE o’ (K) BRON K, BUTS K, AAN ET E 
述 相似 度 图 像 进行 二 值 化 ， 二 值 化 计算 公式 为 
I(x,y)- ds i (3-37) 
, 0 I(x,y) < 天 
得 到 二 值 化 图 像 如 图 3-24 所 示 ， 白 色 区 域 为 人 脸皮 肤 。 





图 3-24 相似 度 图 像 二 值 化 结果 


3.4.3 驾驶 员 面 部 预定 位 


由 二 值 化 图 像 可 以 看 出 ， 驾 驶 员 面 部 图 像 周围 存在 部 分 白色 区 域 ， 这 对 定 
位 驾驶 员 的 面部 区 域 存在 不 利 影响 ， 可 以 利用 数学 形态 学 方法 消除 这 些 区 域 。 

数学 形态 学 以 几何 学 为 基础 ， 着 重 研究 了 图 像 的 几何 结构 ， 看 是 否 能 将 这 个 结 
构 元 素 很 好 地 填 放 在 该 图 像 内 部 ， 腐 蚀 和 膨胀 是 最 基本 的 数学 形态 学 运算 ?1 。 

1. 膨胀 

EBAZTERA, WF 4,, ，4,, ，…，4,, 是 由 二 值 图 像 B = Eb, Lb, b, | 中 
像素 为 1 的 点 平移 得 到 ， 则 4 由 B 平 移 的 并 称 为 4 被 B 膨胀 ， 即 

A@B = UA, (3-38) 









































2. 腐蚀 


腐蚀 是 膨胀 的 相反 过 程 。 二 值 图 像 4 ZAR BOB HWE TE p 点 仍 为 1 的 
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充分 必要 条 件 是 : B 平移 到 p 后 ， 





可 用 式 (3-38) 表示 


AOB = 
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B 中 的 1 像素 也 是 4 中 的 1 像素 。4 BK B Joh 





ipl BpCAj (3-39) 

















两 种 运算 的 不 同 组 合 可 以 得 到 不 同 的 处 理 效 果 。 对 二 值 化 后 的 图 像 先 进行 








开 运算 ， 消 除 








面部 周围 的 细小 干扰 区 域 ， 然 后 再 





进行 闭 运算 ,填充 嘴 部 区 域 的 





细小 空洞 ， 连 接 临近 黑色 区 域 ， 并 进行 平滑 边界 。 用 
孔洞 进行 填充 ， 得 到 图 像 如 图 3-25 (最 左边 一 列 ) ， 
散 点 已 经 被 滤 除 ， 并 且 形 成 一 个 完整 的 脸 部 轮廓 。 
由 于 二 值 
洁 表示 方式 。 在 某 些 应 用 中 ， 投 影 可 以 作为 物体 六 
3. 二 值 图 像 投影 
给 定 一 条 直线 ME 
条 ， 每 一 条 内 像素 值 为 1 的 像素 量 为 该 条 图 像 在 给 
值 化 图 像 的 水 平 、 
右边 列 为 垂直 投影 。 
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再 对 白色 连通 区 域内 的 黑色 
可 看 出 驾驶 员 面 部 周围 的 杂 








图 像 投影 包含 了 图 像 的 很 多 信息 ， 所 以 投影 是 二 值 图 像 的 一 种 简 


只 别 的 一 个 条 


寺 征 。 


宝 | 


F1 





提成 若干 
定 直 线 上 的 投影 值 。 计 算 二 





E 直 方向 投影 ， 如 图 3-25 所 示 ， 其 中 中 间 列 为 水 平 投影 ， 最 


























gd 150 
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列 值 投影 值 
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3 300 
0 340 
0 50100150 200250300350400440 0 50 100 150 200 
列 值 投影 值 
图 3-25 形态 滤波 后 的 图 像 及 投影 曲线 
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因为 人 脸 对 应 区 域 经 二 值 化 转换 后 形成 像素 值 为 1 的 密集 区 ， 所 以 对 应 区 
域 的 投影 值 较 大 。 可 以 利用 这 一 投影 特征 初步 定位 人 脸 区 域 并 分 割 该 区 域 ， 如 


图 3-26 所 示 。 
E 
I 


图 3-26 面部 图 像 分 割 


由 于 驾驶 员 肛 部 颜色 与 人 脸 颜 色相 近 ， 定 位 面部 时 没 能 把 该 区 域 排除 在 外 ， 
这 对 估计 驾驶 员 的 面部 姿势 有 不 利 影响 ， 因 此 需要 进一步 精确 地 定位 人 脸 。 


3.5 驾驶 员 面 部 精 定位 


人 脸 内 显著 的 特征 点 有 眉毛 、 眼 睛 、 鼻 、 嘴 展 等 ， 这 对 估计 鸭 驶 员 的 面部 
姿势 很 重要 。 分 析 这 些 特征 点 的 相对 位 置 关 系 ， 发 现 可 以 通过 定位 眉毛 上 边缘 
与 嘴 展 下 边缘 ， 来 实现 驾驶 员 面 部 上 、 下 边界 的 精确 定位 。 


3.5.1 联合 投影 函数 


投影 是 一 种 重要 的 图 像 分 析 方 法 ， 二 维 图 像 可 以 由 正 交 的 两 个 一 维 投影 函 
数 来 分 析 ， 维 数 的 降低 在 减 小 计算 量 的 同时 也 使 其 更 便于 分 析 。 积 分 投影 函数 
不 但 被 成 功 地 应 用 于 人 脸 识 别 ， 还 可 以 应 用 于 边界 分 析 ， 从 而 确定 出 人 脸 各 个 
0 
积分 投影 算法 
uni y] 表 示 点 (x,，y) 处 的 像素 灰 度 值 ， 在 区 间 [ x ,xs] ，[Yy1, Yj] 内 
的 垂直 积分 投影 孙 数 分 和 水 平 积分 投影 函数 分 别 为 L(x) pO, MEXA 




















I(x) = Y Gu) (3-40) 
LO) = Dey) (3-41) 


2. 微分 投影 算法 
式 (3-39), IÑ (3-40) 为 积分 投影 函数 ， 现 在 还 经 常 应 用 到 微分 投影 
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数 ， 其 概念 最 早 由 Feng 和 Yuen' 5 提出， 并 同时 提出 了 一 种 利用 微分 投影 函数 
定位 眼睛 的 简单 方法 。 

(Beit IL x,y] FAN (x, y) 处 的 像素 灰 度 值 ， 在 区 间 [xi, x4], [yi y] ARI 
垂直 微分 投影 函数 和 水 平 微 分 投影 函数 分 别 表示 为 D,(x) 和 D), WEIR 
像素 间 差 值 绝对 值 的 和 为 


De X n - Hey) | (3-42) 
D.) = È UG = Hoy = 1) | (3-43) 


根据 式 (3-41) 和 式 (3- 42) 可 以 看 出 ， 微 分 投影 算法 反映 的 是 像素 某 一 
行 或 某 一 列 中 相 令 像素 的 变化 程度 ， 即 像素 灰 度 值 变 化 越剧 烈 投 影 值 D,(x) 和 
D, (y) 就 会 越 大 。 

3. 微 积分 联合 投影 算法 

积分 投影 函数 只 考虑 了 各 行 各 列 均值 的 变化 ， 却 不 能 反映 均值 相同 情况 下 
同一 行列 内 灰 度 值 的 变化 ， 而 微分 函数 则 主要 反映 了 同一 行列 内 像素 灰 度 值 变 
化 的 剧烈 程度 。 两 种 方法 具有 互补 性 ， 故 将 两 者 结合 ， 其 中 垂直 方向 投影 函数 
的 结合 公式 为 











M,=(1-k)D,-kxI, (3-44) 
式 中 一 一 权 值 系 数 ， 该 系数 确定 方法 为 


Y D, G)/L) 
Red. (3-45) 


式 中 “mm 一 一 图 像 矩 阵 行 数 。 
由 于 存在 噪声 干扰 等 问题 的 影响 ， 投 影 曲线 存在 较 多 毛刺 ， 需 对 投影 曲线 

进行 平滑 处 理 。 平 滑 公式 为 
D; (x) = ia X 50 (3-46) 


式 中 er ees 实验 中 取 地 =6。 

联合 投影 公式 是 采用 微分 投影 值 与 权 值 (Ck) 相 乘 减 积分 投影 与 权 值 C1-k) 
相 乘 的 方法 ， 如 果 计 算 结果 小 于 0 则 归 一 化 为 0。 从 联合 投影 公式 可 以 看 出 ， 如 
果 某 个 区 域 像 素 灰 度 值 的 平均 值 较 小 ， 而 且 变 化 比较 剧烈 的 话 ， 可 以 提高 该 区 
域 投影 值 与 其 他 区 域 投影 值 的 对 比 度 。 


3.5.2 ”眉毛 上 边缘 定位 
分 析 眉 毛 区 域 可 以 看 出 ， 眉 毛 所 在 的 水 平 区 域 不 但 灰 度 值 的 平均 值 低 ， 而 
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且 对 于 整个 水 平 区 域 来 说 ， 其 灰 度 值 变化 也 很 剧烈 ， 所 以 可 以 应 用 垂直 积分 、 
微分 联合 投影 的 方法 定位 驾驶 员 眉 毛 区 域 。 一 方面 ， 在 人 脸 区 域 进 行 垂直 方向 
积分 投影 ， 利 用 眉毛 区 域 灰 度 值 较 小 的 特点 ， 积 分 投影 1, 越 小 越 可 能 是 由 毛 。 另 
一 方面 ， 在 眉毛 区 域 进行 垂直 方向 微分 投影 ， 利 用 人 脸 图 像 中 眉毛 区 域 的 灰 度 
值 变 化 大 的 特点 ， 差 分 后 绝对 值 累 加 得 到 的 DBE. 

把 预定 位 的 人 脸 区 域 灰 度 化 ， 然 后 采用 微 积分 联合 投影 算法 计算 垂直 投影 ， 
实验 结果 如 图 3-27 所 示 。 图 像 左 侧 白色 区 域 对 应 该 行 像素 的 投影 值 。 








á 


图 3-27 直接 对 预定 位 人 脸 进行 联合 投影 变换 


图 3-27 中 可 以 看 出 ， 投 影 曲线 有 多 个 峰值 区 域 ， 定 义 从 上 向 下 的 峰值 为 第 








1、2、3…… 峰 值 区 。 因 为 眉毛 上 部 为 额头 ,该 区 域 灰 度 变化 比较 均匀 ， 而 且 灰 
度 值 较 高 ， 因 此 第 1 峰值 区 一 般 为 眉毛 区 域 。 图 3-27 中 也 可 以 看 出 第 1、2 幅 图 
像 的 第 1 峰值 区 正好 对 应 在 眉毛 区 域 ， 与 我 们 的 推理 相符 ,但 是 第 3 幅 图 像 由 于 
背景 的 影响 ,没有 使 第 1 峰值 区 对 应 在 眉毛 区 域 , 因此 ， 不 能 直接 在 预定 位 的 
人 脸 区 利用 联合 投影 的 方法 定位 眉毛 。 

经 过 大 量 实验 发 现 ， 背 景 影响 投影 的 情况 多 发 生 在 面部 姿势 旋转 比较 大 时 。 
因为 这 时 鼻尖 突出 人 脸 的 大 致 范围 ， 在 垂直 方向 上 没有 与 人 筋 连接 的 肤色 区 域 ， 
人 脸 预 定位 就 包含 了 部 分 背景 。 这 时 预定 位 图 像 的 一 侧 为 头发 区 域 ， 另 一 侧 即 
为 背景 区 域 ,需要 消除 背景 区 域 的 影响 。 这 就 需要 先 检 测 头发 区 域 ， 那么 为 一 
侧 就 是 背景 。 

采用 亮度 信息 和 正则 化 后 的 R 一 G 颜色 信息 对 头发 颜色 进行 描述 '“”。 采 用 
高 斯 模型 来 对 样本 中 的 发 色 信 息 的 进行 拟 合 ， 应 用 如 下 的 判别 函数 H, y) RIR 
别 是 否 是 头发 























1 p(x,y)»Th 
HOT 0 p(x,y) «Th oy) 
这 里 (x, y) 为 像素 点 所 处 的 位 置 ，P(x,y) 为 像素 点 在 发 色 概率 模型 中 的 概 
率 密度 ， 而 允 则 为 经 验 选 定 的 判断 闻 值 。 
因为 头发 、 眉 毛 在 人 脸 上 部 ， 因 此 取 人 脸 预定 位 的 上 1/3 区 域 进 行头 发 检 
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测 ， 如 图 3-28a 所 示 。 对 预定 位 人 脸 区 域 进 行 肤色 变换 ， 在 图 像 上 1/3 区 域 寻找 
非 肤色 的 最 高 外 接 和 矩形 ， 认 为 该 区 域 为 背景 图 像 并 滤 除 。 对 精简 后 的 图 像 进 行 
灰 度 化 ， 并 进行 垂直 投影 变换 得 到 投影 图 像 ， 如 图 3-28b 所 示 。 可 以 看 出 在 消除 
背景 影响 后 ， 第 一 峰值 区 能 准确 对 应 眉毛 区 域 。 


f ) À i ) P 


a) 头发 及 背景 区 域 检测 b) 滤 除 背 景 后 投影 变换 
图 3-28 侧面 人 脸 图 像 投 影 变 


从 上 往 下 以 投影 值 第 一 次 突变 的 位 置 即 为 眉毛 上 边缘 ， 作 为 驾驶 员 面 部 定 
位 的 精确 上 边缘 ， 定 位 结果 如 图 3-29。 





图 3-29 定位 眉毛 上 边缘 


图 中 可 以 看 出 利用 联合 投影 算法 ， 可 以 在 人 脸 呈 现 不 同 姿势 的 情况 下 准确 
定位 眉毛 区 域 。 


3.5.3 嘴唇 检测 


由 于 人 的 个 体 差异 及 光照 变化 等 原因 的 影响 ,使 得 嘴唇 检测 成 为 一 个 复杂 
的 问题 ， 嘴 层 特 征 提取 对 周围 环境 的 变化 (如 胡须 、 牙 齿 及 舌头 等 干扰 ) 异常 
敏感 。 由 于 层 色 与 肤色 的 不 同 使 得 颜色 检测 成 为 一 个 较为 有 效 的 方法 ,文献 
[41] 研究 显示 ， 在 HSI HESH, CH (HDE) 对 于 嘴唇 颜色 和 皮肤 颜色 具 
有 很 高 的 差异 性 ,通过 五 的 差异 性 来 检测 嘴唇 ， 该 方法 只 适合 于 彩色 图 像 ; 
Wang ^ fJ] Fisher 算法 最 大 化 层 色 与 肤色 的 分 离 度 以 区 分 嘴唇 与 人 脸 的 颜色 ; 
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Eveno 等 四] 使 用 彩色 滤波 器 增 大 展 与 皮肤 的 差异 性 ; Nefian ^! 提出 应 用 线性 判 
别 式 区 分 层 与 皮肤 区 域 ; 文献 [45] 采用 ASM 检测 嘴唇 的 轮廓 ， 该 方法 运算 量 
巨大 ; 文献 [46] 利用 监督 法 区 分 嘴巴 形状 ， 采 用 ASM 曲线 提取 轮廓 ， 然 后 利 
用 SVM 进行 嘴巴 状态 分 类 ; Hennecke 等 ”1 使 用 变形 模板 构建 四 次 多 项 式 来 检 
测 跟踪 嘴唇 ，Coianiz 等 ' 当 通过 两 条 抛物 线 构建 模板 检测 嘴唇 ;Benoit 等 ”| 采用 
运动 信息 ， 通 过 人 类 视觉 系统 模型 检测 嘴巴 状态 ，Zhang 等 (7. 引 提出 基于 Markov 
随机 场 ， 利 用 色调 及 边缘 信息 进行 嘴唇 检测 及 分 割 ， 由 于 没有 严格 的 模型 约束 ， 
只 能 得 到 粗糙 的 分 割 结 果 ; 文献 [52] 利用 基于 区 域 分 割 的 方法 检测 嘴唇 ， 利 
用 Markov 随机 场 结合 运动 和 颜色 信息 检测 嘴巴 ， 然 后 采用 ASM 检测 嘴巴 的 外 部 
轮廓 和 内 部 轮廓 ， 本 方法 可 较为 准确 地 检测 出 嘴巴 位 置 ， 但 Markov 随机 场 需 为 
颜色 分 布 的 松弛 处 理 进 行 初始 化 ， 另 外 ， 由 于 嘴唇 的 形状 没有 限制 可 能 导致 检 
测 失 败 ; 文献 [53] 用 统计 的 方法 从 人 脸 中 提取 嘴 辱 ,该 模型 包含 了 一 定数 量 
的 特征 点 ， 特 征 点 可 最 优 内 外 部 的 轮廓 曲线 ,但 由 于 该 模型 是 非 线 性 的 ， 所 以 
必须 进行 一 个 优质 的 初始 化 。 

综合 以 上 信息 ， 本 书 作 者 提出 采用 基于 人 脸 几 何 分 布 特征 与 颜色 检测 相 结 
合 的 方法 进行 嘴唇 的 检测 。 首 先 ， 根 据 面部 特征 的 几何 分 布 缩小 嘴唇 检测 的 范 
围 ， 并 划 定 标准 肤色 区 域 。 然 后 ,在 HSI 空间 中 将 候选 区 域内 的 甩 分 量 与 标准 
肤色 内 的 五 分 量 进行 对 比 ， 映 射出 嘴唇 区 域 。 

首先 ,将 根据 人 脸 特征 分 布 情况 ， y 
划分 出 标准 肤色 区 域 和 嘴唇 检测 区 域 。 
标准 肤色 区 域内 只 包含 面部 皮肤 ， 作 为 
进行 嘴唇 检测 的 对 比 区 域 ， 嘴 展区 域内 人 和 
包括 嘴巴 ， 可 能 有 牙齿 、 胡 须 等 。 m eon 

在 划分 区 域 前 ， 需 对 人 脸 姿势 进行 ER 
纠正 ， 使 两 眼 处 于 同一 水 平 线 上 ， 以 便 o = 
准确 分 割 出 两 个 区 域 。 根 据 两 眼中 心 位 — MÀ 
置 校正 人 脸 姿 态 ， 模 型 如 图 3-30 所 示 。 

假设 两 眼 连 线 与 水 平方 向 的 夹 角 为 y， 其 计算 公式 如 下 
ur if y'»0 















































E (3-48) 


, 


y else 





AP y = arctan{ 2 2: 


(x, , 7 ) 一 一 驾驶 员 左 眼中 心 坐标 ; 
Cares yo) 一 一 驾驶 员 右 眼 中 心 坐 标 。 
原始 图 像 以 点 (x,, y,) 为 中 心 ， 道 时针 旋 转 y 后 ， 新 坐标 计算 公式 如 下 所 示 
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x, 2 (x-x,)cosy - (y - y,) siny +x, 
y, 2 (x - x,)siny + (y - y.) cosy +y, 
本 书 中 图 像 旋转 中 心 取 驾 驶 员 右 眼中 心 ， 即 wx =x, yeyo 姿态 纠正 效果 
如 图 3-31 所 示 。 





a) 校正 前 b) 校正 后 
图 3-31 姿态 纠正 效果 图 








由 面部 特征 分 布 可 知 ， 定 位 出 眼睛 的 位 置 后 ， 可 以 根据 双眼 坐标 划 定 嘴唇 
区 域 。 在 嘴 层 区 域内 进行 检测 ， 由 于 缩小 了 检测 范围 ， 因 此 可 以 降低 搜索 时 间 ， 
提高 检测 效率 和 精度 。 根 据 人 脸 几 何 特征 一 一 “三 庭 五 眼 ” 关 系 ， 嘴 展位 于 两 
眼中 间 下 方 约 脸 长 1/3 的 区 域内 ， 如 图 3-32 所 示 。 

根据 眼睛 的 已 知 位 置 ， 划 分 一 个 嘴 层 的 检测 区 域 。 区 域 划分 规则 如 下 : 

1) 横 坐 标 以 左 、 右 眼 的 外 眼角 为 界 。 

2) 纵 坐 标 以 人 脸 下 方 1/3 处 及 人 脸 下 边缘 为 界 。 

标准 肤色 区 域 4 的 位 置 在 眼睛 与 嘴巴 区 域 之 间 ， 如 图 3-33 所 示 。 


A 


\ 






















































图 3-32 “三 庭 五 眼 ” 示 意图 图 3-33 ”区域 示意 图 
图 3-34 中 4 区域 为 标准 肤色 区 域 , 是 检测 嘴巴 的 对 比 区 域 ，B 区 域 为 嘴巴 


待 检测 区 域 。 图 3- 33 的 分 割 效果 如 图 3-34 所 示 : 
在 图 3-34b 区 域内 ， 由 于 鼻孔 、 牙 齿 、 胡 须 的 影响 ， 嘴 展 检 测 并 不 是 一 个 二 
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有 





a) 标准 肤色 区 域 b) 嘴巴 区 域 





图 3-34 面部 区 域 划分 


分 类 问题 〈 非 皮肤 即 嘴 展 ) 。 彩 色 图 像 比 灰 度 图 像 能 提供 更 丰富 的 信息 ， 而 颜色 是 区 
分 嘴 层 与 人 脸皮 肤 最 为 直观 的 特征 ， 因 此 可 充分 利用 嘴唇 的 颜色 比 皮肤 颜色 红 这 一 
村 点 进行 检测 。 本 节 通 过 对 RGB 彩色 图 像 进 行 色 彩 空间 变换 ， 转 换 到 HSI 空间 以 分 
离 亮 度 信息 ， 选 取 区 分 肤色 和 层 色 比较 明显 的 万 分 量 进行 嘴 层 检测 和 定位 。 图 3-34 
的 五 分 量 值 空间 分 布 如 图 3-35 所 示 ， 可 以 看 出 ， 标 准 肤 色 区 域 中 五 值 分 布 比较 集 
中 ; 而 嘴巴 区 域 中 , 五 值 非常 明显 的 分 为 两 个 部 分 ， 在 嘴唇 位 置 处 五 值 比 其 他 位 置 
的 值 大 ， 两 处 的 值 相 差 较 大 ， 且 各 自 数值 聚 类 性 好 ， 容 易 区 分 。 











070 070 
a) 标准 区 域 b) 嘴巴 区 域 


图 3-35 五 分 量 空间 分 布 


将 万 分 量 的 数值 按照 下 式 归 一 化 到 0 ~255 范围 内 
H -H in 
H.-H 


max min 








H* =255 (3-50) 


SUB “ 瓦 。、 瓦 ,一 分 别 为 互 的 最 大 和 最 小 值 ， 归 一 化 后 灰 度 图 像 如 图 3-36 所 示 。 
从 图 3-36 中 可 以 看 出 ， 标 准 区 域 的 互 值 分 布 均匀 ， 嘴 巴 区 域 在 嘴唇 及 鼻孔 
处 互 值 与 其 他 位 置 的 差别 较 大 ， 验 证 了 上 述 结论 的 正确 性 。 
在 HSI 空间 进行 路 辱 映射 的 具体 步 又 如 下 所 述 。 
1) 计算 4 区 域 的 万 分 量 均 值 
H, = ge X LAG] - Sw ~ Sus) (3-51) 


(i,j) e Qa 
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4 区 域 的 总 像素 数 ; 
H(i,j) ——A 区 域 中 (i,j) 人 处 万 分 量 值 ; 

Q,——A 区 域 ; 

Sjma 一 一 4 区 域内 五 分 量 值 前 10% 最 大 的 加 和 ，; 

Simin A 区 域内 五 分 量 值 前 10% 最 小 的 加 和 。 














a) 标准 区 域 b) 嘴巴 区 域 
图 3-36 五 分 量 映射 灰 度 图 


2) 计算 B 区 域内 五 的 相对 变化 率 
n Hj 
K(i,j) = A (3-52) 
式 中 K(i j) —— BERAS (i,j) 的 相对 变化 率 ; 
H(i,j) B 区 域 中 (i,j) 外 五 分 量 Lo 
如 果菜 点 的 颜色 较 红 ,五 分 量 值 就 会 较 大 ， 即 相对 变化 率 K 就 会 变 大 ， 基 
于 该 特性 ， 只 要 天 满足 以 下 关系 就 可 映射 出 嘴 展 
K>AK 
通过 试验 得 出 AK=1.7 时 ， 可 以 精确 地 检测 出 嘴唇 ， 然 后 根据 式 (3-52) 
映射 出 嘴 层 轮廓 ， 映 射 图 如 图 3-37 所 示 。 












































a) 映射 图 b) 形态 运算 后 映射 图 
图 3-37 嘴巴 区 域 灰 度 图 
IG) = (75 K(i,j) > AK (5:5 
0 K(i,j) <AK 
式 中 (ij) HR BOTT AY JC BE FE 
MARRS Bei, DETR tll , WAS Rol FR WO A 3-38 所 示 ， 可 以 看 出 
25 ON A LEAR AESAC RS, BRE VE RAO SH WS PE E 
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图 3-38 嘴唇 检测 
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3.5.4 驾驶 员 脸 部 精 定位 


定位 眉毛 与 嘴唇 区 域 的 边界 后 ， 以 眉毛 上 边缘 作 驾 驶 员 面 部 上 边界 ， 以 嘴 
层 下 边缘 作 面 部 下 边界 ， 以 面部 预定 位 左右 边缘 为 左右 边界 ， 然 后 在 该 区 域内 
对 面部 预定 位 图 像 进行 肤色 检测 。 对 肤色 检测 后 的 图 像 进行 二 值 化 水 平 投影 。 
以 投影 值 由 0 突变 的 位 置 作为 右边 界 ， 定 位 左 、 右 边界 如 图 3-39 所 示 。 





图 3-39 ”精确 定位 驾驶 员 面 部 左右 边界 


综合 精确 定位 的 驾驶 员 面 部 上 、 下 、 左 、 右 边界 ， 可 以 得 到 驾驶 员 面 部 精 
P 吉 果 ， 如 图 3-40 Br, SEH Bey) THE A E E D TBR, Jf 
”标记 4 个 顶点 ， 较 大 方 框 为 驾驶 员 面 部 预定 位 结 








图 3-40 驾驶 员 面 部 精确 定位 及 分 割 结果 
从 图 3-40 中 可 以 看 出 ， 本 书 提出 的 方法 在 驾驶 员 多 个 面部 姿势 下 都 能 精确 
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地 定位 面部 图 像 ， 并 包括 了 我 们 需要 的 面部 特征 点 。 图 3-40 中 还 可 以 看 出 驾驶 
员 精 确定 位 的 左右 边界 与 预定 位 的 左右 边界 相差 不 大 ， 精 定位 与 预定 位 的 差别 
主要 在 于 上 下 边界 的 不 同 。 


3.6 驾驶 员 面 部 图 像 归 一 化 

















采用 上 述 由 粗 到 精 的 逐步 定位 方法 获得 的 面部 图 像 ， 无 论 其 高 度 还 是 宽度 
基本 上 都 是 不 同 的 。 而 大 小 不 一 的 图 像 不 利于 估计 驾 9 驶 员 面部 姿势 需要 进行 


归 一 化 处 理 。 文 中 采用 了 基于 插值 变换 的 归 一 化 方法 '”。 

根据 原 图 像 中 的 位 置 来 决定 像素 点 的 灰 度 值 ， 设 f(x,y) 是 原 图 像 ，g(x。 ,yo) 是 
归 一 化 后 的 图 像 ， 设 (x ,yo) 是 图 像 g(xo,yo) 中 的 任意 一 点 ， 对 应 于 f(x,y) 中 的 友 
(a, b), 根据 (a, 5) 的 具体 情况 来 表示 (xo ,yo ) 中 各 像素 点 的 值 ， 公 式 为 








Lid. 
wid ? 
i (3-54) 
E heig?^^ 
heig 原 图 像 的 高 度 ; 








wid’ 一 一 归 一 化 后 图 像 的 宽度 ; 

heig’ 一 一 归 一 化 后 图 像 的 高 度 。 

Xa, b 为 整数 的 时 ， 有 gloy) =f(a,b); Ha, b 不 是 整数 时 ， 通 过 插 
值 变换 得 到 整数 坐标 值 。 

1. 最 近邻 插值 

最 近邻 插值 算法 中 ， 归 一 化 图 像 g(x ,%) 
的 灰 度 值 用 (a, b) 邻接 的 四 个 网 络 点 (i, 门 、 
(i+1,j)、(i,j+1)、(i+1,j+1) 中 最 接近 的 
点 的 灰 度 值 来 近似 表示 。 即 

&(% 5%) =fCa’,b") (3-55) 











式 中 (a. 55 (a, 5) 距 其 最 近 的 一 个 点 。 
Ws AAT E (open) 
是 (a, b) 的 最 近邻 点 (i, j+1) (rl, j+1) 
(a', b'), 
2. 双 线 性 插值 图 3-41 最 近邻 插值 


双 线 性 插值 中 g (xo, yo ) AY AR BE ER 
(a, 5) 邻近 的 四 个 网 络 点 (i, 7 站、(i+1,7)、(i,j+1)、(i+1,j+1) 的 灰 度 值 按 
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照 下 面 的 公式 决定 ， 即 
&(% 5%) SSJ A =n) (1-8) «fj *1B(1-9) + 
fG +1 jn -B) €fG- 1, *1)m (3-56) 
式 中 j——ÀEfASEERS, n=a-i, B=b-jo 
双 线 性 插值 计算 量 较 大 ， 但 图 像 质量 高 ， 不 会 出 现 像素 不 连续 的 情况 。 由 
于 双 线 性 插值 具有 低 通 滤波 器 的 性 质 ， 所 以 可 能 会 使 图 像 轮廓 在 一 定 程度 上 变 
得 模糊 。 
3. 三 次 线性 插值 
三 次 线性 插值 中 (x。, yo) 的 灰 度 值 是 用 与 (a, 5) 临 域 的 16 个 网 络 点 的 灰 度 
值 来 近似 表示 ， 需 要 增加 计算 量 ， 并 且 计 算 方 法 复杂 。 
分 别 采 用 3 种 方法 对 图 3- 13 的 面部 图 像 进行 归 一 化 实验 ,结果 如 
Al 3- 和 42 所 示 。 





3-42 ”各 种 插值 方法 的 归 一 化 效果 
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图 3-42 中 从 左 至 右 分 别 为 最 近邻 插值 、 双 线性 插值 和 三 次 线性 插值 结 
三 种 插值 方法 得 到 的 效果 基本 相同 ， 但 是 三 次 线性 插值 归 一 化 图 像 需要 的 计算 
时 间 比 较 长 ， 另 外 ， 应 用 最 近邻 插值 方法 归 一 化 灰 度 图 像 时 得 到 的 边缘 效果 不 
如 另外 两 种 方法 得 到 的 效果 好 。 因 此 ， 文 中 采用 双 线性 插值 方法 对 分 割 的 驾驶 
员 面 部 图 像 进行 归 一 化 。 














3.7 A 


精确 定位 驾驶 员 面 部 图 像 是 估计 驾驶 员 面 部 姿势 、 视 线 方 向 的 前 提 ， 因 此 
本 童 提出 由 粗 到 精 的 驾驶 员 面 部 定位 方法 。 首 先 ， 在 YCbCr 彩色 空间 下 检测 肤 
色 区 域 并 根据 二 值 图 像 投 影 进行 人 脸 预 定位 ; 然后， 在 人 脸 预 定位 的 区 域内 ， 
提出 利用 联合 投影 的 方法 定位 眉毛 区 域 , 并 根据 层 色 二 次 多 项 式 模 型 及 其 比 人 
脸 肤 色 更 红 的 特点 定位 嘴唇 区 域 ; ia, WA BEA, GR Pea Alt 
定位 的 上 、 下 边界 ， 并 在 该 区 域内 再 利用 肤色 模型 定位 左 、 右 边界 。 根 据 需 要 
对 精 定位 的 人 脸 区 域 利用 双 线 性 插值 法 进行 大 小 归 一 化 。 从 定位 效果 上 看 出 ， 
我 们 提出 的 方法 可 以 精确 定位 不 同 姿势 下 的 驾驶 员 面 部 图 像 。 
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面部 姿势 估计 





4.1 概述 


在 许多 智能 系统 中 ， 一 个 实质 的 目标 是 通过 图 像 识别 人 员 的 身份 和 活动 ， 面 部 
姿势 是 其 中 一 个 很 重要 的 线索 "， 面 部 姿势 还 可 以 揭示 一 个 人 的 注意 方向 ， 因 此 许 
多 研究 者 致力 于 研究 如 何 根据 图 像 来 估计 一 个 人 的 面部 姿势 。 面 部 姿势 估计 已 经 
在 许多 场合 中 得 到 应 用 ， 如 会 议 中 判断 参 会 者 的 注意 方向 ,估计 驾驶 员 的 注意 方向 ， 
人 机 交互 中 利用 面部 姿势 控制 程序 等 ， 如 图 4- 1 所 示 。 根 据 面部 姿势 可 以 检测 出 
85% 的 驾驶 员 视 觉 分 散 行为 ， 男 外 ， 通 过 估计 操作 者 的 注意 方向 实现 人 机 交互 ， 
也 是 一 个 很 热门 的 人 机 界面 课题 。 面 部 姿势 估计 能 否 成 功 应 用 于 实际 ， 取 决 于 姿势 
估计 模型 的 精确 度 和 和 鲁 棒 性 。 除 了 能 分 析 人 们 的 注意 方向 ,估计 面 部 姿势 还 有 利于 
处 理 人 脸 检 测 和 识别 问题 ， 可 以 提高 算法 的 检测 、 识 别 效果 站 。 








a) 判断 驾驶 员 注 意 方向 b) 人 机 交互 中 控制 程序 
图 4-1 面部 姿势 估计 典型 应 用 


基于 面部 姿势 估计 在 诸多 方面 的 重要 应 用 ， 众 多 研究 者 采用 了 图 像 处 理 、 
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模式 识别 的 方法 对 该 问题 进行 了 深入 研究 ， 并 提出 许多 估计 算法 。 现 有 的 方法 
大 体 上 可 以 分 为 两 类 : 几何 分 析 法 、 降 低 数据 维 数 法 ”1 。 

1. 几何 分 析 法 

首先 ， 应 用 人 脸 特 征 点 定义 通用 人 脸 模型 或 者 人 脸 参 考 结构 ， 然 后 ， 根 据 
人 脸 相 对 运动 时 图 像 尺寸 的 缩放 、 平 移 、 旋 转 来 复原 3D 面部 姿势 。 通 常 根据 5 
个 特征 点 的 相对 位 置 来 计算 姿势 角度 ，5 个 特征 点 分 别 是 4 个 眼角 点 与 鼻尖 。 然 
后 ， 根 据 不 同 姿势 图 像 中 人 脸 特 征 点 具有 的 不 同 几 何 关系 来 分 析 面 部 姿势 。 另 
外 ，Braathen 等 提出 利用 多 粒子 滤波 需 来 跟踪 这 5 个 特征 点 ， 再 利用 它们 间 的 几 
何 关系 来 估计 面部 姿势 。 也 有 根据 图 像 差 分 与 人 脸 大 体 呈 椭圆 形 的 特点 来 估计 
面部 姿势 。 实 际 上 ， 建 立 侧面 人 脸 几 何 模型 还 比较 困难 ， 虽 然 3D 建 模 方法 可 
以 获得 很 高 精度 ， 但 是 很 难处 理 单个 平面 图 像 。 此 类 方法 的 特点 是 需要 精确 定 
位 人 脸 的 特征 点 ， 人 脸 特 征 点 的 定位 精度 对 估计 结果 影响 很 大 ， 然 而 ， 在 不 同 
姿势 的 人 脸 图 像 中 定位 特征 点 本 里 就 是 个 很 困难 的 问题 ,并 且 人 上 脸 表 情 发 生变 
化 时 会 影响 人 脸 特征 点 的 相对 位 置 ， 也 会 影响 估计 精度 。 

2. 降低 数据 维 数 法 

主要 应 用 主 元 分 析 (Principal Component Analysis, PCA) 、 最 佳 Gabor 过 滤 
器 特征 空间 "7 、 核 辨别 分 析 (Kernel Discriminant Analysis, KDA) 、 流 形 学 习 的 
方法 、 支 持 向 量 分 类 法 (SVC) 5 、 多 视角 特征 空间 ”1 ， 也 有 人 提出 应 用 小 波 
神经 网 络 的 方法 来 佑 计 面 部 姿势 。 此 类 方法 实际 上 是 把 面部 姿势 售 计 看 作 一 个 
模式 分 类 问题 ， 这 种 方法 的 缺陷 是 不 能 通用 化 ， 对 于 不 同 的 人 需要 重新 进行 
训练 。 

核 主 元 分 析 (Kernel Principal Component Analysis, KPCA) 作为 主 元 分 析 的 
非 线 性 推广 形式 ， 被 认为 是 特征 提取 的 一 种 有 效 手段 ,已 经 越 来 越 多 地 被 应 用 
到 文字 识别 、 人 脸 检 测 与 识别 等 问题 中 "中 。 根 据 流 形 学 习 理论 ， 不 同 姿 势 的 
高 维 人 脸 图 像 ， 具 有 一 个 潜在 的 低 维 流 形 结构 。 应 用 KPCA 的 方法 可 以 把 这 
种 潜在 流 形 结构 宜 入 到 低 维 空间 ， 实 现 高 维 数据 的 可 视 化 。 因 此 ， 本 书 提出 利 
用 核 主 元 分 析 估计 驾驶 员 面 部 姿势 的 方法 。 


42 核 主 元 分 析 






















































































4.2.1 基本 原理 

核 主 元 分 析 的 基本 思想 是 利用 一 个 非 线性 函数 D. 将 原始 输入 空间 的 数据 映 
射 到 一 个 高 维 的 特征 空间 正中， 使 在 输入 空间 无 法 线性 分 类 的 数据 变换 到 线性 
可 分 的 高 维 空间 ， 然 后 在 高 维 空间 中 利用 主 元 分 析 方 法 进行 特征 提取 '* S, 
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其 原理 如 图 4-2 所 示 。 





PCA 









































图 4-2 核 主 元 分 析 基 本 原理 示意 图 


4.2.2 实现 方法 


我 们 可 以 进行 如 下 算法 推导 。 设 训练 样本 为 x ,x,…,xw， 定 义 非 线性 
映射 





®:R'> F,x9(x) (4-1) 
将 样本 从 原始 输入 空间 映射 到 高 维特 征 空间 FS BRE AS BRUT 0 es AE S [8] r1 
后 均值 为 零 ， 即 











1 M 
r2? F(x,) =0 
这 样 在 特征 空间 F PORE AS Fr 2:5B [Ep d 
Cx x2 D(x,) O(x,)" (4-2) 
对 应 的 特征 方程 为 
A*u zC?u (4-3) 
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容易 知道 ， 对 于 所 有 满足 和 ”0 的 特征 向 量 w , EAF O), DO), 
(xy) 所 张 成 的 空间 中 。 
因此 存在 系数 a,(i=1,2,…,M)， 满 足 


u = Xa) (4-4) 
把 式 (4-4) 代入 式 (4-3) 中 ， 我 们 可 以 得 到 
A* (Xa) 7 (FY 9609607) X 02) (4-5) 
在 式 (4-5) 的 两 边 同时 乘 上 @(z) f= 1,2, I. 


MX o) *0())7 (rè b) 9G) (Y aDC) * $0): 
J 91,2,"M (4-6) 
定义 M xM 的 矩阵 天 
K; =K(%;,%;) =@D(x,)° (x) (4-7) 
这 里 K(xi,%;) BIEX RZ 
这 样 方程 (4-6) 就 可 以 写 为 
MA? Ka = Ka (4-8) 
这 里 a 为 由 w 组 成 的 列 向 量 。 由 于 天 是 对 称 和 矩阵 ， 因 此 下 列 方程 的 解 ， 即 
是 方程 (4-8) 的 解 








MA*a = Ka (4-9) 
邻 A?<A?<…A” 为 方程 (4-9) UBRO, u'.u, u" EE AY E [8] 
量 。 我 们 需要 将 uk =1,2,…m 在 特征 空间 进行 归 一 化 ， 即 
uu =1,k=1,2,-+,m (4-10) 
利用 式 (4-4) 和 式 (4-9) ， 我 们 可 得 


u-u = ( X obs): (X aft) 








H 





M 
kk 
= > or; or; k( x; ,x;) 
ij=l 


k k 
=a Ka 


= 1 (4-11) 
我 们 将 归 一 化 后 的 向 量 w ,ww ,…,w" 记 为 
U=[u',u’,-,u” | 
对 于 任何 一 个 测试 样本 x , EF PRB B(x), M B(x) Ze U EWR 
U”. (x) = [uw yu" + B(x) 
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= [u' * B(x) ju) (x), u” - B(x) |" 
= [Xai(*() : 96), È (6() CD) 


È ar (O(a) (x) T 
[ Y, atk(x, x) ， Y aPC 52) M York) j 


= = etl 
- (4-12) 
y 就 是 测 ARE 对 应 的 非 线 性 主 元 。 这 样 我 们 只 需要 通过 简单 的 计算 核 函 
数 就 能 得 到 非 线性 主 元 ， 而 不 必要 知道 非 线 性 映射 e 的 具体 形式 。 
在 特征 空间 中 变量 的 均值 不 为 零 时 ， 可 以 通过 如 下 方法 进行 转化 ， 即 








3 = 0 (4-13) 
如 果 令 
B(x) = Bx) -HE Cod) (4-14) 
则 训练 样本 a ,x ,… ,x 在 高 维特 征 空间 中 对 应 的 映射 b Qn ) DC), 
(xy) 的 均值 就 转化 为 零 了 。 此 时 式 (4-7) 对 应 的 核 函 数 和 矩阵 相 应 地 变 为 
K; = k(x, 1%; ) 
= P(x;) + D(a) 








= (P(x) = FLO) + (Oa) = FY OG) 
=) cet) BRE) cen ca WC) cte 


ui 15 DES ) 中 (xy) 


pel g= 


-Ky -FÈ Ku- EKua t aE EKn (4-15) 
这 样 我 们 就 可 以 从 天 计算 出 天 。 
这 样 与 式 (4-9) 相对 应 的 特征 方程 为 


MA*a-Ka (4-16) 
4.2.3 核 函 数 及 其 参数 选择 
常用 的 核 函 数 有 以 下 几 种 1。 
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1) 多 项 式 核 函 数 
k(x,z) =(b* (x,z) *c)'(de N;b,cz0) (4-17) 
2) 高 斯 (Gaussian) 1%% 
k(x,z) -ep| I (4-18) 


XP o0, HEB PRA SERE, 
3) Sigmoid 内 积 核 函数 
k(x,z) =tanh(a(x,z) +B) (4-19) 
式 中 a20,8«0, 分 别 用 来 控制 核 函 数 的 斜率 和 偏 移 量 。 
4) 一 般 径 向 基 (RBF) 核 函 数 
k(x,z) =exp( -pd(x,z)) (4-20) 
AH p >0; 
d(x,z) 可 以 是 任意 一 种 距离 度量 。 
另外 ， 可 以 利用 已 知 的 核 函 数 来 构造 新 的 核 函数 ?和 。 
核 函 数 选择 的 好 坏 将 直接 影响 到 核 主 元 分 析 方 法 的 性 能 。 参 数 选 择 的 原则 
EBA TW PILA, 
1) 如 果 关 于 训练 集 无 任何 先 验 知识 ， 则 只 能 分 别 试用 不 同 的 核 函 数 ， 归 纳 
误差 最 小 的 核 函 数 就 是 最 好 的 核 函 数 。 
2) 如 果 对 于 训练 样本 有 一 定 的 先 验 知识 ， 则 所 选用 的 核 函 数 应 该 与 被 估计 
实 值 函数 的 功率 谱 的 形状 相 匹 配 。 
综合 以 上 的 讨论 ，KPCA 的 算法 可 以 归结 如 下 591 : 
1) 选 定 核 函 数 KG) ， 根 据 式 (4-7) 计算 矩阵 天 。 
2) 求解 特征 方程 (4-9) ， 并 利用 式 (4-11) 将 特征 向 量 归 一 化 。 
3) 对 于 测试 样本 ， 利 用 式 (4-12) 求 得 其 非 线性 主 元 。 
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4.3.1 驾驶 员 面 部 姿势 模型 


人 的 面部 姿势 可 以 由 其 在 X、Y、Z 三 个 方 上 的 旋转 角度 来 合成 ， 驾 驶 员 出 
现 视 觉 分 散 时 面部 姿势 的 变化 主要 体现 在 线 了 轴 与 绕 z 轴 的 旋转 上 … ， 如 图 4-3 
所 示 。 因 此 ,我们 主要 对 这 两 个 方向 上 的 姿势 变化 ， 即 a 〈 面 部 俯仰 角 ) g 
(面部 横 摆 角 ) 进行 估计 ， 并 合成 最 后 的 各 驶 员 实 际 面部 姿势 。 
4.3.2 图 像样 本 采集 


利用 KPCA 算法 估计 面部 姿势 首先 需要 建立 标准 姿势 估计 曲线 ， 因 此 需要 
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面部 姿势 实际 方向 











面部 姿势 参考 方向 
图 4-3 ”驾驶 员 面 部 姿势 模型 


一 组 姿势 角度 已 知 的 面部 图 像 ， 将 这 些 图 像 作为 核 主 元 分 析 的 训练 样本 。 为 保 
证 采集 的 面部 图 像 对 应 一 个 比较 精确 的 角度 ， 我 们 自行 设计 了 一 套图 像 采 集 系 
统 ， 如 图 4-4 所 示 。 

该 采集 系统 需要 在 一 个 具有 三 面 光滑 墙 面 4、B、C 的 房间 内 进行 ， 确 定 旋 
转 中 心 ， 保 证 旋转 中 心 到 三 面 墙壁 的 垂直 距离 相等 ， 该 距离 在 我 们 系统 中 为 180 
像素 。 采 集 图 像 时 让 被 采集 图 像 的 人 坐 在 椅子 上 ,保证 人 的 头 部 在 旋转 中 心 。 
在 人 面部 固定 一 个 教学 用 光 笔 ， 标 定 其 发 光 方 向 与 人 脸 朝 向 一 致 。 以 旋转 中 心 
向 B 墙 面 做 垂 线 得 到 交点 即 为 0" 对 应 点 ， 然 后 根据 几何 关系 每 隔 $" 在 墙 面 上 标 
记 一 点 ， 标 记 点 距 地 面 的 高 度 为 130cm。5° 、10° 等 对 应 点 与 0° 对 应 点 的 水 平 距 
离 为 15.75 像素 、31. 74 像素 等 。 摄 像 机 固定 在 人 体 前 方 一 定 距 离 处 ， 轴 线 对 准 
人 面部 中 心 。 采 集 图 像 时 让 实验 人 员 上 坐 在 椅子 上 保持 身体 基本 不 动 ， 然 后 旋转 
头 部 ， 每 次 转动 头 部 都 使 光源 发 出 的 光照 射 在 墙 上 的 标记 点 ， 这 样 每 转动 一 次 
转 过 的 角度 为 $"。 采 集 图 像 时 让 实验 人 员 从 65" 处 逆 时 针 转 动 头 部 到 - 65" 处 ， 
每 转动 一 次 采集 一 幅 图 像 ， 共 得 到 27 幅 图 像 ， 其 中 0° 时 摄取 的 图 像 为 正面 人 脸 
图 像 。 

采用 图 4-4 的 方法 采集 5 位 实验 人 员 不 同 姿势 下 的 头 户 图像， 并 利用 第 3 
章 中 的 人 脸 定 位 算法 , 分割 人 脸 ， 并 归 一 化 大 小 为 95 x 145 像素 的 面部 图 像 。 
采集 到 的 一 位 实验 人 员 某 姿势 下 的 图 像 与 归 一 化 后 的 图 像 如 图 4-5 所 示 。 


4.3.3 建立 姿势 曲线 


根据 流 形 学 习 理 论 ， 不 同 姿势 的 高 维 人 脸 图 像 ， 具 有 一 个 潜在 的 低 维 流 形 
结构 。 应 用 KPCA 的 方法 可 以 把 这 种 潜在 流 形 结构 舱 入 到 低 维 空间 ， 实 现 
高 维 数据 的 可 视 化 。 应 用 KPCA 估计 面部 姿势 主要 分 两 步 : 
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a) 图 像 采集 示意 图 


标记 点 





光源 照射 在 标记 点 上 





b) 图 像 采 集 现场 


4-4 图 像样 本 采集 系统 


1) 建立 姿势 曲线 。 

2) 估计 新 面部 图 像 的 姿势 角度 。 

由 于 人 们 不 能 直接 感知 高 于 3 维 的 数据 集 ， 需 要 把 高 维 人 脸 图 像 存在 的 流 
JE ON BIR 3 维 的 空间 。 对 于 面部 单纯 的 俯仰 角 、 横 摆 角 变化 ， 它 们 实际 上 
是 一 个 平面 (人 脸 ) 旋转 变化 ， 因 此 把 高 维 人 脸 图 像 存在 的 流 形 能 入 到 一 个 2 
维 空间 可 以 揭示 其 变化 的 本 质 !5) 。 

将 图 4-5b 中 获得 已 知 面部 姿势 的 图 像 作 为 核 主 元 分 析 的 训练 样本 ， 建 立 姿 
势 曲 线 。 首 先 ， 将 获得 的 彩色 图 像 转 化 为 灰 度 图 像 ， 因 为 在 计算 机 中 灰 度 图 像 
都 由 一 个 矩阵 表示 ， 则 可 按 图 4-6 所 示 的 方法 把 图 像 矩阵 转化 为 列 向 量 。 如 果 每 
幅 图 像 的 大 小 是 100 x 100 像素 ， 则 转化 后 的 向 量 是 100 x 100 = 10000 维 的 列 
向 量 。 


BEE RK PRB K(x,, x) , 根据 式 (4-7) 计算 矩阵 有， 然后 求解 特征 方程 











7T] < 


V 驾驶 员 视 觉 分 散 特征 识别 及 检测 方法 





图 4-5 归 一 化 后 部 分 样本 图 像 




















图 4-6 图 像 矩 阵 转化 为 列 向 量 


(4-9) ， 并 利用 式 (4-11) 将 特征 向 量 归 一 化 。 假 设 得 到 特征 值 为 4 ,4 ,4 ，…， 
4，( 从 大 到 小 ) ， 它 们 对 应 的 特征 向 量 分 别 为 X X ,X,…,X,。 计 算 每 个 样本 在 
X, ,五 ,五 ，…,XX, 上 的 投影 ， 可 以 得 到 M. OREKO LOCO LXI XD) 
(XR) CP AS ASX, ) 投 影 值 。 根 据 样 
本 在 任意 两 个 特征 向 量 上 的 投影 值 ， 就 可 以 建立 姿势 曲线 。 应 用 最 多 的 是 前 几 
个 最 大 特征 值 对 应 的 特征 向 量 ， 其 中 最 大 特征 值 对 应 的 特征 向 量 称 为 主 元 ， 相 
比较 其 他 特征 向 量 它 包 含 了 更 多 的 图 像 信息 。 但 据 主 元 建立 的 面部 姿势 曲线 ， 
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并 不 一 定 最 适合 估计 面部 姿势 。 以 样本 在 1、2、3、4 特征 向 量 (前 4 个 最 大 特 
征 值 对 应 的 特征 向 量 ) 上 的 投影 值 为 例 进 行 说 明 ， 建立 姿势 曲线 如 图 4-7 所 示 。 
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图 4-7 利用 不 同 特征 向 量 上 的 投影 值 建立 姿势 曲线 


根据 图 4-7a 曲线 可 以 看 出 由 于 样本 在 第 1 特征 向 量 上 的 投影 为 常数 ， 因 此 
第 1 特征 向 量 上 的 投影 值 不 能 反映 面部 姿势 变化 的 本 质 ， 不 适合 于 估计 面部 姿 
势 。 图 4-7d 曲线 存在 交叉 点 ， 在 估计 姿势 角度 时 在 交叉 点 处 容易 引起 歧义 。 图 
4-7c 曲线 虽然 没有 交 又 ,但 奉 把 曲线 分 为 三 段 单 调 曲 线 的话 ， 这 三 段 曲 线 的 横 
向 距离 太 近 。 这 些 特 征 都 不 利于 应 用 临近 点 估计 新 投影 点 的 角度 。 综 合 起 来 看 ， 
只 有 图 4-7b suspi uu cH 因为 该 曲线 不 仅 光 滑 ， 而 且 左 
右 对 称 ， 反 映 了 高 维 面部 图 像 存在 的 流 形 结构 。 因 此 本 书 应 用 样本 在 第 2、3 特 
征 向 量 上 的 投影 值 来 建立 姿势 曲线 ， 并 根据 新 样本 在 2、3 特征 向 量 上 的 投影 
来 佑 计 其 对 应 的 角度 。 
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d [s] — s FE] ACA Fe] ARS ESAE, WE 4-8 所 示 。 图 中 可 以 看 出 不 同人 的 
姿势 曲线 虽然 不 能 完全 重合 ,， 但 是 姿势 曲线 的 形状 大 体 是 相同 的 ， 左 右 基 本 上 
对 称 。 并 且 ， 可 以 认为 对 称 轴线 通过 姿势 曲线 上 0° 角 CEBA) 对 应 的 点 。 
每 个 人 面部 旋转 的 角度 是 治 某 条 姿势 曲线 逐渐 变化 的 。 根 据 不 同 个 体 姿势 曲线 
大 体 相同 的 特点 ， 可 以 应 用 同一 个 人 的 姿势 曲线 来 估计 不 同人 的 面部 姿势 ， 而 
不 至 于 引起 较 大 误差 。 
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图 4-8 同一 空间 内 入 不 同人 的 姿势 曲线 





4.3.4 面部 姿势 估计 


根据 图 4-8 可 以 看 出 ， 不 同 面部 姿势 图 像 在 曲线 上 对 应 点 的 分 布 规律 基本 相 
同 ， 呈 现 出 中 间 稀 疏 ， 两 端 相对 密集 的 特点 。 不 同人 的 姿势 曲线 都 大 体 呈 圆 形 ， 
根据 姿势 曲线 利用 最 小 二 乘法 拟 合 圆 ， 发 现 它们 的 圆心 相距 比较 近 ， 并 且 半 径 
的 长 度 也 比较 接近 。 因 此 我 们 提出 根据 拟 合 圆心 、 新 投影 点 及 与 新 投影 点 最 近 
两 点 之 间 的 位 置 关 系 ， 估 计 新 面部 图 像 对 应 角度 的 方法 。 

建立 如 图 4-9 的 坐标 系 ， 其 中 横 轴 代表 图 像 在 第 2 特征 向 量 上 的 投影 值 ， 纵 
轴 代 表 图 像 在 第 3 特征 向 量 上 的 投影 值 ，0 为 坐标 原点 。 根 据 训练 样本 对 应 的 点 
MAR, BALH P (x, y), FEXR, WASESA 

(x =x)? *(y-x)! =R (4-21) 
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假设 有 一 测试 样本 图 像 I， 计算 其 在 XX, .X, 上 的 投影 值 ， 得 到 测试 样本 对 应 
的 坐标 点 T7， 然 后 根据 7 的 邻近 点 T T, URBELO P 的 坐标 估计 新 坐标 点 7 
对 应 的 角度 。 

求解 的 具体 算法 如 下 。 

根据 核 主 元 分 析 算法 计算 测试 样本 图 像 在 谋 入 空间 对 应 点 的 坐标 T(x ,3 ) 。 

连接 点 P、7 得 到 直线 PT 





X= Xo X-X, 



































= (4-22) 
Y-Yo Ys 
计算 PT 与 拟 合 圆 的 交点 ， 假 设 与 了 较 近 的 交点 为 J。 
YA 
60 r À 十 “训练 点 
e. 拟 合 圆心 
* 测试 点 
拟 合 圆 
40 - a 
20 + 
m 
um 
Ea 
4 
i} 0 — 
i X 
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= 
K J, 
—20 L 
-40 
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第 2 特征 向 量 上 投影 值 
图 4-9 新 图 像 角 度 估计 


寻找 距离 了 最 近 的 训练 点 ,假设 为 T, (x, yi). TG, yo ERP ST, 
T, 点， 得 到 直线 PT. PT, 





X—Xy KAM 


三 (4-23) 
yy. YN 
K—Xo X-i, (4-24) 
YO Jo X —J5 
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计算 P7, PT, 与 拟 合 圆 的 交点 ， 找 到 与 最近 的 交点 用 、， 则 了 点 对 应 
的 角度 应 该 为 


B=(- (4-25) 





122 


AP 08,——JWIZ T 对 应 的 角度 ; 


Ji. JB E JU. JUS 的 弧 长 。 
因为 图 4-9 所 示 的 是 新 投影 点 落 在 左 半 平面 时 的 情况 ， 对 应 的 姿势 角度 为 
负 值 ， 所 以 在 5" 前 面 加 个 负 号 ; 如 果 新 投影 点 落 在 右 半 平面 则 对 应 角度 为 


— 


gs og (4-26) 
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TEXX (4-25), Zh (4-26) P B, 都 是 对 应 与 0" 角 最 近 的 已 知 点 对 应 的 角度 , 


AWS, 、 了 大 相 对 的 圆心 角 较 小 ， 在 实际 计算 中 可 以 用 线段 万 JJ, 的 长 度 
代替 弧 长 。 


4.4 实例 分 析 


























4.4.1 面部 横 摆 角 估计 


选择 1 位 测试 人 员 的 样本 图 像 作 为 训练 样本 ， 选 择 高 斯 核 函 数 (o = 10000 ) 
建立 姿势 估计 曲线 ， 并 对 其 他 4 位 测试 人 员 的 样本 图 像 进行 角度 估计 实验 。4 位 
测试 人 员 样 本 图 像 的 估计 精度 (偏差 绝对 值 ) 如 图 4- 10 所 示 。 
8 - - - - - T - 


























估计 精度 /(“ ) 








-80 -60  -40 -20 0 20 40 60 80 
测试 样本 对 应 角度 /(“ ) 


图 4-10 样本 图 像 的 估计 精度 
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根据 图 4-10 来 看 ， 虽 然 角度 估计 精度 没有 明显 变化 规律 ， 但 是 在 +20° 的 范 
围 内 估计 精度 相对 来 说 比较 稳定 ,估计 精度 大 体 在 4° 左右 ， 当 面部 旋转 角度 偏 
大 时 ,估计 精度 稳定 性 有 所 降低 ， 最 大 偏差 达到 7°% ， 最 小 偏差 只 有 2° 左右 。 与 
其 他 现 有 方法 相 比 ， 我 们 的 估计 方法 具有 一 定 优势 。Fisher Manifold Learning 
(FML) 估计 精度 较 高 ， 但 是 估计 范围 较 小 , 在 -10, 10] 度 内 估计 精度 在 
3° 左 右 ; KPVA + SVC! 对 间隔 为 10° 图 像 的 识别 率 为 97% ; Isomap 与 LTPP 7 
的 估计 精度 在 11° 与 15° 左 右 ; LEAM| 方 法 的 估计 精度 较 高 ,但 计算 过 于 复杂 ， 
不 适合 于 在 检测 驾驶 员 视 觉 分 散 时 实际 应 用 ; 几何 分 析 方 法 的 精度 也 较 高 ， 但 
是 需要 定位 人 脸 的 多 个 关键 特征 点 ， 在 多 姿势 人 脸 中 定位 特征 点 本 身 就 比较 困 
难 ， 故 不 适合 本 书 需 要 。 


4.4.2 核 函 数 对 估计 精度 的 影响 


常用 的 核 函数 主要 有 4 种 ， 前 面 用 到 的 核 函 数 主要 是 高 斯 核 函 数 。 我 们 应 
用 高 斯 核 函数 下 不 同 参数 建立 的 姿势 曲线 如 图 4-11a 所 示 ， 应 用 不 同 的 核 函 数 建 
立 的 姿势 曲线 如 图 4-11b 所 示 。 
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a) 高 斯 核 函 数 下 不 同 参数 b) 不 同 核 函数 


图 4-11 应 用 不 同 核 函 数 、 参 数 建立 姿势 曲线 


从 图 4-11a 中 可 以 看 出 ， 对 于 同一 个 核 函数 ， 当 选择 的 核 函 数 参数 不 一 致 时 
建立 的 姿势 曲线 会 有 很 大 差别 ， 有 时 其 至 无 法 进行 估计 计算 。 如 图 4-11a 中 3 条 
曲线 是 高 斯 核 函 数 分 别 在 o = 10000, o = 9000 5 o = 1000 时 作出 的 姿势 曲线 ， 
在 o =1000 时 姿势 曲线 已 经 严重 变形 ， 多 个 点 重合 到 一 起 以 致 无 法 进行 角度 佑 
计 。 因 为 还 没有 一 个 选择 核 函数 参数 的 依据 ， 这 就 需要 通过 实验 来 选择 核 函 数 
的 参数 ， 对 于 相同 的 训练 样本 ， 如 果 应 用 某 核 函 数 及 参数 能 得 到 比较 平滑 姿势 
曲线 ， 则 认为 该 核 函数 及 参数 则 被 认为 适合 于 估计 面部 姿势 。 

从 图 4-11b 中 可 以 看 出 ， 应 用 不 同 核 函数 建立 的 姿势 曲线 大 体 相同 ， 曲 线 
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大 部 分 位 置 重合 ， 只 是 应 用 径 向 基 核 函数 建立 次 势 曲 线 时 有 较 大 差别 ， 因 此 先 
择 不 同 核 函 数 对 估计 精度 的 影响 不 会 太 大 。 表 4-1 列 出 应 用 相同 训练 样本 、 相 
同 测试 样本 而 不 同 的 核 函 数 时 平均 估计 精度 。 


表 4-1 不 同 核 函 数 对 估计 精度 影响 














核 d 数 平均 估计 精度 /(°) 
高 斯 核 函 数 (o =10000) 4.58 
多 项 式 核 函 数 (b=c=d=1) 4. 66 
径 向 基 核 函 数 (p = 10000) 4. 48 
Sigmoid 核 函数 (022x107, B= -5) 4.71 


4.4.3 ”面部 俯仰 角 估 计 


估计 俯仰 角 的 方法 类 似 于 估计 横 摆 角 ， 首 先 建立 俯仰 角 姿 势 曲 线 ， 然 后 将 
测试 图 像 投影 到 姿势 曲线 所 在 空间 ， 再 估计 新 图 像 对 应 的 角度 。 

采用 类 似 于 图 4-4. 的 图 像 采 集 方法 采集 样本 图 像 ， 只 不 过 把 水 平方 向 上 的 
距离 变化 改变 为 垂直 方向 上 的 距离 变化 。 受 人 体 生 理 结 构 影 响 ， 人 脸面 部 俯仰 
角 的 自由 变化 范围 较 小 ， 实 验 采 集 样本 图 像 的 变化 范围 是 [ -30°, 30°], #88 
样本 间 的 角度 间隔 为 5°。 

采用 高 斯 核 函 数 (o = 10000) ， 根 据 图 像 在 第 2、3 特征 向 量 上 的 投影 建立 
姿势 估计 曲线 如 图 4-12a 所 示 。 根 据 图 4-12a 建立 的 姿势 曲线 估计 其 他 测试 人 员 
样本 图 像 的 角度 ， 样 本 图 像 佑 计 的 平均 精度 (偏差 绝对 值 ) 如 图 4-12b 所 示 。 
根据 图 4-12b 我 们 可 以 看 出 估计 精度 在 5° 左右 ,估计 精度 低 于 横 控 角 的 估计 精 
度 ， 这 可 能 与 训练 的 数量 有 关 , Duc E 
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a) 面部 俯仰 角 估 计 曲 线 b) 面部 俯仰 角 估 计 精 度 


4-12 面部 俯仰 角 估 计 曲 线 及 估计 精度 
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4.5 JA 


根据 面部 姿势 可 以 检测 出 大 部 分 的 驾驶 员 视 觉 分 散 行为 。 本 书 作 者 提出 利 
用 核 主 元 分 析 把 高 维 面 部 图 像 存在 的 流 形 结构 舱 入 到 二 维 姿势 空间 ， 利 用 训练 
样本 建立 姿势 曲线 并 拟 合 圆 ， 然 后 把 新 图 像 投 影 到 相同 空间 ， 利 用 拟 合 圆心 及 
姿势 曲线 上 与 新 投影 点 最 近 的 2 个 点 ,估计 新 投影 图 像 对 应 的 角度 。 利 用 核 主 
元 分 析 算 法 可 以 把 不 同人 的 姿势 曲线 甬 入 到 同一 空间 ， 并 能 保持 各 个 姿势 曲线 
原来 本 质 。 因 此 ， 利 用 同一 条 姿势 曲线 可 以 估计 不 同人 的 面部 姿势 而 不 致 引起 
较 大 误差 。 实 验 表明 我 们 提出 的 估计 算法 效果 良好 ， 可 以 满足 一 定 实际 需求 。 
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5.1 概述 


根据 驾驶 员 面 部 姿势 ， 可 以 识别 出 大 部 分 的 注意 分 散 行为 。 但 在 驾驶 员 
面部 姿势 朝 前 时 ， 驾 驶 员 Deu od 观察 其 他 方向 ， 根 据 第 3 章 的 分 析 可 
知 ， 这 也 是 一 种 注意 分 散 行为 。 因 此 ， 还 需要 对 驾驶 员 的 眼睛 视线 方向 进行 识 

别 。 尽管 视线 已 经 
成 功 地 作为 一 种 计算 机 输入 方式 ， 但 一 般 需 要 在 严格 控制 的 外 部 环境 下 应 用 ， 
成 功 应 用 也 只 限于 武器 操纵 以 及 残障 人 士 服 务 上 。 

传统 的 眼睛 视线 识别 方法 大 多 是 侵入 性 的 ， 现 在 的 研究 方法 大 多 是 非 侵入 
性 的 2 。 非 侵入 性 的 方法 一 般 是 基于 机 器 视觉 的 ， 应 用 摄像 机 捕捉 眼 部 图 像 ， 
再 根据 图 像 分 析 视 线 特性 。 瞳 孔 与 角膜 的 反光 点 及 位 置信 息 常 被 用 来 估计 视线 
方向 。 但 是 要 设 定 很 多 假设 条 件 ， 并 且 这 些 假 设 一 般 都 不 是 真实 的 5 。 这 种 方 
法 需要 精确 定位 瞳孔 与 反光 点 。 为 避免 精确 定位 这 些 特征 点 ，Baluja “等 提出 应 
用 神经 网 络 的 方法 估计 视线 方向 。Perrone'" 应 用 虹膜 或 者 瞳孔 在 图 像 中 的 形状 
特征 来 估计 视线 方向 ， 因 为 虹膜 与 瞳孔 都 是 圆 形 的 ， 圆 状 物体 在 以 不 同 角度 向 
平面 投影 时 ， 会 形成 不 同 的 椭圆 形 投影 ， 根 据 椭圆 的 特征 估计 视线 方向 。 这 种 
方法 的 缺点 是 需要 较 高 分 辨 率 的 眼睛 区 域 图 像 。 

可 靠 、 准 确 、 无 接触 地 识别 视线 方向 是 比较 困难 的 ， 特 别 是 在 敬 驶 环境 下 ， 
驾驶 员 不 能 佩戴 任何 额外 设备 。 因 此 ， 为 满足 检测 驾驶 员 视 线 方向 的 需要 ， 
Bebis * 把 视线 方向 分 为 5 种 (前 、 上 、 下 、 左 、 右 )， 并 提出 采用 PCA (Principal 
Component Analysis 主 元 分 析 ) 的 方法 来 识别 视线 方向 。 主 元 分 析 是 把 所 有 不 
同类 型 的 样本 放 在 一 起 进行 特征 提取 ， 以 所 有 类 型 样本 的 最 优 重建 为 目的 ， 因 此 对 
于 描述 不 同类 型 样本 之 间 的 差异 而 言 它 不 一 定 是 最 优 的 描述 。 从 这 个 意义 上 说 用 它 
来 描述 人 眼 视线 识别 的 特征 是 不 充分 的 ， 因 而 限制 了 PCA 识别 率 的 进一步 提高 ” 。 

为 此 ， 本 书 作者 提出 了 一 种 改进 的 眼睛 视线 方向 识别 方法 ， 为 不 同 视线 情况 
下 的 人 眼 图 像 各 建立 一 特征 空间 ， 在 每 个 特征 空间 下 重建 待 识别 人 了 眼 图 像 ， 并 计 
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算 重 建 误差 ， 根 据 重建 误差 来 设计 分 类 器 。 特 征 空间 的 构造 是 以 某 类 人 有 眼 图 像 的 
最 优 重建 为 目的 ， 用 来 重建 同类 图 像 时 可 以 获得 最 小 的 重建 误差 ， 而 重建 其 他 类 
图 像 的 误差 将 会 较 大 ， 将 测试 图 像 分 类 到 能 获得 最 小 重建 误差 的 特征 空间 。 这 样 
在 识别 样本 图 像 时 ， 需 要 进行 多 次 PCA 运算 ， 可 以 称 之 为 Multi- PCA’! 。 

















5.2 Multi- PCA 
PCA ( 主 分 量 分 析 )， 也 称 K-L He ， 它 是 一 种 基于 统计 特征 的 最 佳 正 
5.2.1 K-L 变换 


设 有 一 个 n 维 的 向 量 x， 欲 将 其 转换 为 1 维 (1<n) 的 向 量 y 以 简化 计 
算 ， 即 











x= (x, 9% 7598,09, d. JP zx (n s% Tt ,X;) (5-1) 
最 简单 的 方法 就 是 将 向 量 x 直接 截断 ， 即 
x= (x, nn PM NL = n sia go?" 80,0" 0) (5-2) 
此 时 的 均 方 误差 为 
IIx -y| = Var exa tnn t x (5-3) 


MX (5-3) 中 可 以 看 出 ， 转 换 误差 是 非常 大 的 。 而 PCA 是 以 转换 前 后 的 
均 方 根 误差 最 小 为 出 发 点 的 。 
设 向 量 x 的 均值 向 量 为 X=E(x) ， 其 相关 矩阵 为 丸 , =E [xx ] ， 协 方差 矩阵 





为 C,=E(C-XF)( 一)') ,x 经 正 交 变换 后 得 问 量 y=(y, yy … ,Yi， 
Ya)’, BH 
t 
y2Tx-(tt7-t1,)'x- ^ x (5-4) 
t, 
从 而 y 的 各 个 分 量 表示 为 
y; "tx,i-1,2,n (5-5) 
而 
yı 
ssr a Gen ls Sk (5-6) 
"E a 
Yn 
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在 式 (5-6) 中 选择 m 项 ， 则 在 最 小 均 方差 准则 下 的 线性 估计 x 为 
You (5-7) 


i=l 





BD 


式 中 l<m<n, 
此 时 的 均 方 误差 为 


en) «EG 23) G -x)] = X EŻ] = X Eb] 


= > eboi È ERA (5-8) 
向 量 x 通过 正 交 变换 得 到 向 量 y, 我 们 希望 变换 前 后 的 均 方 误差 & (m) 最 小 。 
可 以 在 7 为 标准 正 交 阵 的 约束 下 ( 即 tit, =6;) 构 造 准则 函数 


J= DR- Xa -1) (5-9) 


eet =o, 可 得 (R.-AD t=0, i=zm+1, =, n, Hl 
R,t; =Aj;t,,t=mt1,--,n (5-10) 
XX (5-10) 表明 ,A 和, 是 x IXE R BREE, tÆ R, 对 应 的 特征 向 量 。 
将 式 (5-10) 代入 (5-8) 式 中 ,可 得 
e(m) = Ya s YA, (5-11) 
在 x 的 估计 式 中 ， 如 果 保 留 前 m y, TA PAY (n-m) 个 分 量 ”分 别 由 
HH (n-m) 个 常数 5. 代 蔡 ， 此 时 的 估计 式 为 


x x yit; 十 > bit; (5-12) 
i=l i=m+l 














估计 的 均 方 误差 为 
eG) = ELC =x)" -x)] = Y EG:-8Y] (5-13) 


最 佳 的 5, 可 以 通过 计算 9 e/o b RAS, WEISE 
b =t! x (5-14) 








此 时 估计 的 均 方 误差 为 
e’ (m) = Des (5-15) 


FERE T 为 标准 正 交 阵 约束 下 (Hort. =6,) 使 式 (5-15) 取得 最 小 值 的 
转换 向 量 t,， 仿照 前 面 的 做 法 ,构造 准则 函数 


J= M 6e - AQ -1)] (5-16) 
i=m+l 
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Ct,=At,, izmcl,-,n (5-17) 
如 果 将 式 (5-17) 代入 式 (5- 15), 则 


& (m) = 2 à (5-18) 
由 线性 代数 的 有 关 知 识 知 ， 因 为 R, C 为 非 负 定 阵 ， 故 有 
ee. i=1,2, (5-19) 


式 中 ACR) 和 A,(C,) 一 一 分 别 表 示 RAI C, a E EE 
因此 ， 可 以 得 出 结论 ， 第 一 种 估计 的 均 方 误差 比 第 二 种 要 大 。 


5.2.2 PCA 实现 方法 
假设 有 /1 类 训练 样本 ， 每 类 训练 样本 的 个 数 分 别 为 ，c ，…，c ， 则 训练 
样本 总 数 为 Cy + Cy Tee 十 Ci =M, 


若 每 个 样本 的 大 小 都 为 a x5， 则 这 M MERT DRAB BL a x b AES IR ft TP, 
D, Dy, JEBIDORHI MM 个 列 向 量 的 均值 











1 
oe De (5-20) 
RES ED, (i = 1... M) 与 均值 向 量 的 差 为 
b. -r -Y (5-21) 
那么 训练 样本 的 协 方差 矩阵 
s y o = AA’ (5-22) 


式 中 A= [®,, ®,---®,, | , 

利用 C 的 正 交 特征 向 量 建 立 样本 特征 空间 。 对 于 N 维 样本 向 量 ， 协 方差 矩 
VE C 的 大 小 为 YNxN 维 ， 因 为 一 般 比 较 大 ， 对 C 求 特征 值 和 特征 向 量 很 困难 。 
我 们 需要 找到 一 个 简便 的 计算 方法 。 根 据 奇异 值 分 解 原理 ， 我 们 可 以 求 较 小 的 
MxM ERE L 的 特征 值 与 特征 向 量 " ， 将 得 到 的 特征 向 量 线性 变化 后 可 得 C 的 
FERES EEUU, 

首先 计算 M x M ERE L 





























L-A'A (5-23) 





RETE] Sv (1 21--M) 。 

和 矩阵 C 的 特征 向 量 w(1=1…M,) 可 由 差 值 向 量 (i=1…M) Sw(lsl-- 
M) 的 线性 组 合 得 到 

U=([u,,u,---u,] =[®,,,---,][v, v, vy] =AV (5-24) 





=> 90 


第 5 章 基于 Multi- PCA 的 驾驶 员 眼睛 视线 方向 识别 $, 


式 中 “一 一 人 特征 向 量 的 矩阵 ; 

L 的 特征 值 A 即 为 C 的 特征 值 A。 

样本 向 量 的 特征 主要 体现 在 前 面 最 大 的 几 个 特征 值 对 应 的 特征 向 量 上 ， 再 
根据 重 构 需要 达到 的 精度 与 计算 复杂 度 ， 选 择 最 大 的 p 个 特征 值 对 应 的 特征 向 
量 ， 正 交 归 一 化 ， 以 此 为 基 构 成 特征 空间 。 然 后 ， 把 样本 向 量 投 影 到 特征 空间 
中 ， 都 会 得 到 一 个 投影 坐标 。 而 根据 这 个 投影 坐标 ， 可 以 实现 样本 的 重 构 。 





























H 








5.2.3 Multi- PCA 算法 


Multi- PCA 算法 就 是 对 待 识别 样本 进行 多 次 PCA 和 运算， 具体 算法 概括 
如 下 。 

1. 构建 特征 空间 

1) 分 别 为 每 类 选择 训练 样本 ， 并 转换 为 列 向 量 ， 即 

L, -[ DD yl (5-25) 

式 中 kË k RIAR, k=1, 2, l; 

有 ,一 一 第 大 类 样本 的 训练 样本 个 数 。 

2) 利用 下 式 实现 样本 标准 化 








o-r-w:' (5-26) 
式 中 “ 吏 ' 一 一 第 对 类 样本 的 均值 。 
3) 求 各 类 特征 空间 的 协 方差 矩阵 C*; 并 对 C* 进 行 特 征 值 分 解 ， 分 别 求 出 
各 类 子 空间 的 主 分 量 ui, uj, =, uho P 到 是 第 大 个 子 空间 所 采用 的 主 分 量 
个 数 ， 则 由 主 分 量 构 建 的 各 类 样本 的 特征 空间 为 
U* = [uj up, ue, | (5-27) 





2. 样本 识别 
1) 通过 式 (5-26) 对 测试 样本 标准 化 。 
2) 将 标准 化 后 样本 D 向 各 类 特征 空间 投影 
Q' = (U+) "Ð (5-28) 
则 2 = [w,, w, +, w,,, | 是 测试 样本 在 各 个 特征 空间 下 的 投影 坐标 。 


3) 求 测试 样本 在 各 类 特征 空间 中 的 重 构 样 本 














d m È wu, (5-29) 
4) 计算 样本 在 每 个 特征 空间 中 的 重 构 误差 
^ 
e; = || - 4 | (5-30) 





使 误差 值 最 小 的 特征 空间 天 就 是 测试 样本 所 应 属 的 类 别 空间 。 
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5.3 基于 Multi-PCA 的 眼睛 视线 方向 识别 


5.3.1 驾驶 员 眼 睛 区 域 定位 


在 本 书 第 3 章 中 所 述 驾驶 员 面 部 图 像 精确 定位 的 基础 上 ， 本 书 作者 提出 采 
用 联合 投影 函数 与 角 点 检测 相 结合 的 方法 定位 眼睛 区 域 。 

对 精 定位 人 脸 进 行 水 平方 向 的 微 积 分 联合 投影 ， 如 图 5-1a 所 示 。 图 中 可 以 
清楚 看 到 ， 眉 毛 、 眼 睛 都 对 应 一 投影 的 峰值 区 ， 这 样 以 眉毛 区 域 下 边缘 作为 眼 
睛 区 域 上 边界 。 在 眼睛 区 域 的 下 边缘 ， 因 为 灰 度 值 的 变化 也 形成 一 个 小 的 峰值 ， 
以 该 峰值 为 眼睛 区 域 下 边界 ， 定 位 眼睛 区 域 上 下 边界 ， 如 图 5-1a 所 示 。 对 该 区 
域 进行 肤色 检测 ， 消 除 左 右 两 侧 头 发 对 后 续 边 缘 、 角 点 检测 工作 的 影响 ， 精 简 
结果 如 图 5-1b 所 示 。 

眼角 是 眼睛 区 域 中 比较 稳定 的 特征 点 ， 随 年 龄 、 表 情 、 胖 瘦 等 改变 发 生 的 
变化 很 小 ， 应 用 Susan 算 子 可 以 准确 检测 出 眼睛 的 内 外 和 角 点 5 





























- 1 f |K(r)-Krlst 
c(r,ro) -| f N E (5-31) 
0 if |K(r)-In)l»: 
n(ro) = 之 cr,ro) (5-32) 
R(T,) = uae. if n(ro) «g (5-33) 
0 others 
式 中 和 前 像素 点 ; 
或 范围 内 的 其 他 点 ; 
I(r 





c(T7，ro) 一 一 两 个 像素 灰 度 值 的 相关 性 度量 ; 
/一 一 像素 间 差 异 阔 值 ， 一 般 设 为 27; 
n(ry)——USAN 面积 ,该 面积 越 小 ， 则 边缘 强度 越 大 ; 
g 一 一 几何 闷 值 ， 可 以 理解 为 USAN 面积 的 最 大 值 ， 超 过 这 个 值 就 认为 


该 点 不 是 边缘 ， ARGENT nC, ) max O 


用 以 上 算法 获得 的 眼 部 区 域 边缘 图 像 ， 如 图 5- le 所 示 。 提 取 图 中 黑色 边 毕 
曲线 的 角 点 ， 即 可 获得 准确 的 两 个 外 眼角 点 。 以 眼睛 的 两 个 外 眼角 点 为 眼睛 区 
域 左右 边界 ， 并 结合 眼睛 区 域 的 上 下 边界 ， 定 位 眼睛 区 域 如 图 5-1d 所 示 ， 并 分 
MAKE, 

利用 双 线 性 插值 算法 把 分 割 的 眼睛 区 域 归 一 化 为 45 x 150 像素 的 图 像 ， 如 
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图 5-2 所 示 。 





c) d) 


5-1 眼睛 区 域 定位 





5-2 眼睛 区 域 图 像 归 一 化 效果 


5.3.2 建立 特征 空间 


选择 25 位 实验 者 ， 摄 取 他 们 在 观察 5 个 不 同方 向 时 的 面部 图 像 ， 并 分 割 眼 
青 区 域 图 像 ， 每 种 视线 方向 上 共 获 得 25 幅 图 像 。 根 据 视线 方向 分 类 (上 一 U， 
下 一 D， 左 一 L， 碳 一 R， 前 一 S$) ， 需 要 建立 $ 个 特征 空间 。 每 类 选择 10 幅 眼 睛 
图 像 ， 按 照 图 4-2 所 示 方 法 转换 成 列 向 量 。 利 用 训练 样本 构造 协 方差 矩阵 ， 根 
据 5.2. 2 小 节 给 出 的 方法 计算 矩阵 的 特征 向 量 和 特征 值 ， 选 择 最 大 的 p 个 特征 值 
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对 应 的 特征 向 量 构成 ”维特 征 空间 ， 即 为 该 视线 方向 人 眼 图 像 的 特征 空间 5 。 
确定 降 维 空间 (特征 空间 ) 的 维 数 (p) 是 一 个 很 重要 的 问题 ， 采 用 下 述 的 
方法 来 确定 特征 空间 的 维 数 呈 5， 
1) 将 特征 值 按照 从 小 到 大 顺序 排列 A, > Ay > … > Ae 
2) 通过 下 面 两 式 来 确定 特征 空间 的 维 数 p 


SAS ura (5-34) 

且 (5-35) 
式 中 1 一 一 原始 空间 的 维 数 ; 

位 于 0 -1 之 间 的 系数 。 

式 (5-34) 确定 了 降 维 后 特征 空间 能 量 占 原始 空间 能 量 的 比例 ; 而 式 
(5-35 ) 保 证 在 允 近 误差 差别 不 大 的 情况 下 尽量 降低 特征 空间 的 维 数 。 通 常情 况 
下 ，e, 通 过 指定 数值 或 实验 来 确定 ， 本 书 取 e, 20.99; 而 ,通过 观察 特征 值 的 
分 布 情况 或 实验 来 确定 ， 本 书 取 e, =0. 6。 

5.3.3 ”测试 重 构 误 差 及 特征 空间 相似 度 

既然 Multi- PCA 以 最 小 重建 误差 来 分 类 样本 ， 我 们 需要 测试 样本 图 像 在 不 同 
特征 空间 下 的 重 构 误差 。 图 5-3 是 图 5-2 中 5 种 不 同 视线 方向 样本 图 像 在 5 个 不 
同 特征 空间 下 的 重 构 误 差 。 横 坐标 表示 5 个 特征 空间 ， 纵 坐标 分 别 表示 重 构 误 
差 。 每 条 曲线 上 的 标记 点 代表 一 个 样本 图 像 在 不 同 特征 空间 下 的 重 构 误 差 ， 可 
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以 看 出 每 类 样本 只 在 其 自身 对 应 的 特征 空间 中 具有 最 小 重 构 误 差 。 图 5-3 中 每 
一 列 标记 点 可 以 当成 是 同一 特征 空间 重 构 同一 样本 时 的 重 构 误差 .因此 我 们 还 
可 以 看 出 ， 每 一 特征 空间 对 应 的 重 构 误差 也 只 有 在 重 构 本 类 样本 时 具有 最 小 值 。 
这 两 个 特征 可 以 说 明 Multi- PCA 可 以 有 效 地 识别 视线 方向 。 

男 一 个 可 以 说 明 算法 有 效 性 的 指标 是 特征 空间 相似 度 ， 它 是 衡量 特征 空间 
相似 性 的 重要 指标 ， 常 以 特征 空间 距离 来 衡量 特征 空间 的 相似 度 。Sun' "| 等 在 分 
析 以 往 空 间距 离 方 法 的 基础 上 提出 了 一 种 新 的 空间 相似 度 定 义 方法 ， 并 在 基于 
Bayes 的 人 脸 识 别 上 得 到 成 功 应 用 。 文 中 采用 Sun'"1 的 子 空间 相似 度 定义 ， 对 不 
同 眼睛 视线 方向 的 特征 空间 进行 测试 。 

设 U 和 VV 分 别 为 两 个 特征 空间 ， 其 维 数 分 别 为 m 和 nn; uy, uy, c, UL, 
和 vb ，v，… ,vy 分 别 是 特征 空间 U 和 的 正 交 基 。 则 两 个 特征 空间 的 距离 定 
义 为 


















































d(U,V) = nes) - > $ Cutv;)* (5-36) 
两 个 特征 空间 的 相似 度 定义 为 | 
w, 2 d(U,V)/ /max(m,n) (5-37) 








“AIM o, x0.5 时 ， 称 两 个 特征 空间 相似 。w, 越 小 表示 两 个 特征 空间 的 

相似 度 越 高 ， 为 表达 起 来 更 直观 我 们 将 特征 空间 相似 度 定义 为 
w 21 - d(U,V)/ /max(m,n) (5-38) 

这 样 在 w 越 大 时 表明 两 个 特征 空间 的 相似 度 越 高 ， 当 且 仅 当 w »0.5 Bf, fr 
两 个 特征 空间 相似 。 

根据 子 空间 相似 度 的 定义 ， 对 5 类 视线 特征 空间 彼此 间 的 相似 度 进行 了 测 
试 ， 相 似 度 计算 结果 如 表 5-1, MUK 5-1 中 可 以 看 出 ， 各 类 视线 的 特征 空间 除 和 
其 自身 空间 相似 度 高 外 ， 同 其 他 空间 的 相似 度 都 很 低 ， 说 明文 中 方法 适合 识别 
视线 方向 。 























X 5-1 特征 空间 之 间 的 相似 度 








wares 相似 度 (96) 
特征 空间 — 
前 NS T 左 A 
前 100 
上 30 100 
下 31 23 100 
7c 29 29 28 100 
右 34 25 31 25 100 
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5.3.4 Multi-PCA 与 PCA 比较 与 分 析 


1. 识别 效果 比较 

对 于 Multi- PCA 利用 5.3.2 小 节 构 造 的 特征 空间 ， 对 剩余 样本 进行 识别 实 
验 。 而 PCA 法 用 5 类 视线 方向 的 各 10 个 样本 ， 共 50 个 训练 样本 构建 一 个 特征 
空间 ， 其 余 样本 当成 测试 样本 。 随 着 特征 向 量 个 数 p 选择 的 不 同 ， 识 别 率 也 不 
相同 ， 在 此 都 选择 最 大 识别 率 进行 比较 。 除 了 识别 率 ， 对 识别 系统 来 说 ， 另 一 
个 重要 的 指标 是 实时 性 ， 因 此 也 对 识别 时 间 进 行 比较 。 利 用 配置 为 Intel Pentium 
Dual E2180 2. 00GHz CPU, 2G 内 存 的 计算 机 对 两 种 方法 进行 实验 对 比 ， 实 验 结 
果 如 表 5-2: 

















表 5-2 识别 效果 对 比 








训练 时 间 /s 单 样本 识别 时 间 /s 最 高 识别 率 (90) 
PCA 3.375 0. 062 84 
Multi- PCA 1.53 0. 078 89. 33 


从 表 5-2 中 可 以 看 出 ，Multi-PCA 的 训练 时 间 还 不 到 PCA 训练 时 间 的 
50% ， 这 是 因为 在 建立 特征 空间 时 Multi- PCA 需要 进行 特征 值 分 解 的 矩阵 [ (45 x 
150) x (10x1)] 要 比 PCA 特征 值 分 解 的 矩阵 [ (45 x150) x (10x5)] 小 得 多 ， 
所 以 尽管 进行 特征 值 分 解 的 矩阵 数量 多 4 个 ， 但 是 训练 样本 的 总 时 间 还 是 要 比 
PCA 方法 少 ; 而 在 识别 阶段 ， 由 于 Multi-PCA 要 将 待 识 别 的 样本 向 多 个 特征 空 
间 中 进行 投影 ， 所 以 识别 时 间 要 比 PCA 法 多 。 从 最 高 识别 率 来 看 ，PCA 法 最 大 
识别 率 为 84% Tij Multi- PCA 法 最 大 识别 率 可 以 达到 89.33% ， 识 别 率 明显 
提高 。 

2. 分 析 

由 于 Multi- PCA 算法 的 中 心思 想 是 以 分 类 为 目的 ， 因 此 有 助 于 提高 识别 率 。 
因为 在 建立 特征 空间 时 至 少 需要 2 个 样本 ， 所 以 Multi- PCA 算法 对 单 样本 识别 问 
题 无 效 ， 而 PCA 可 以 把 所 有 类 别 的 样本 一 起 训练 建立 特征 空间 ， 因 此 PCA 可 以 
用 来 识别 单 样本 问题 。 
































5.4 Au 


鉴于 驾驶 环境 应 用 的 需要 ， 本 章 提出 应 用 Multi- PCA 识别 驾驶 员 视 线 方向 
的 方法 。 首 先 ， 分 析 PCA 方法 用 作 识 别 方法 时 的 不 足 ， 然 后 介绍 了 Multi-PCA 
算法 。 在 第 3 章 精 确定 位 驾驶 员 面 部 技术 的 基础 上 ， 提 出 采用 联合 投影 机 数 与 
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眼角 检测 相 结 合 的 方法 定位 驾驶 员 眼 睛 区 域 。 建 立 5 类 特征 空间 ， 并 测试 不 
同样 本 在 不 同 特征 空间 下 的 重 构 误 差 ， 发 现 只 有 在 样本 类 别 与 特征 空间 类 别 
相同 时 才能 获得 最 小 重建 误差 。 测 试 特征 空间 相似 度 ， 进 一 步 证 明 Multi- 
PCA 算法 的 有 效 性 。 最 后 ， 对 不 同 视线 时 的 眼睛 区 域 图 像 进行 识别 实验 ， 并 
对 Multi- PCA 与 PCA 的 识别 效果 进行 对 比 ， 发 现 Multi- PCA 算法 可 以 获得 较 
高 识别 率 。 
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6.1 概述 


驾驶 员 在 十 字 路 口 转 向 时 ， 其 视线 偏离 车 辆 前 方 的 持续 时 间 会 超过 2s (大 
£1 3s) ， 这 也 被 认为 是 一 种 视觉 分 散 行为 。 但 这 并 非 是 一 个 危险 情况 ， 所 以 
在 视觉 分 散 检测 模型 中 增加 了 一 个 鸭 驶 员 转 向 行为 识别 的 模块 。 本 章 对 驾驶 员 
的 转向 行为 进行 识别 研究 。 

识别 加 驶 员 转 向 行为 最 简单 的 方法 似乎 是 检测 转向 灯 的 使 用 。 然 而 ， 这 个 
看 起 来 简单 明了 的 二 值 信号 也 可 能 是 含糊 不 清 的 。 例 如 ， 驾 驶 员 使 用 该 信号 时 ， 
即 可 能 是 暗示 将 要 转向 还 有 可 能 是 变 道 。 并 且 ， 驾驶 员 在 使 用 转向 信号 时 并 不 
是 一 致 的 ， 例 如 在 实 车 与 模拟 实验 中 发 现 ， 驾 驶 员 只 在 一 半 (其 至 不 到 一 半 ) 
的 转向 、 变 道 过 程 中 使 用 转向 灯 "” 。 

Lee ”采用 两 个 摄像 机 分 别 获取 驾驶 员 视 线 方 向 与 道路 方向 、 车 辆 行驶 方 
向 ， 然 后 根据 视线 方向 与 道路 方向 的 关系 、 道 路 方向 与 车 辆 行驶 方向 的 关系 判 
断 当时 驾驶 环境 的 危险 程度 ， 可 以 减少 将 变 道 误 判 为 视觉 分 散 的 次 数 。 但 这 种 
方法 在 车 辆 经 过 十 字 路 口 、T 形 路 口 而 转向 时 ， 并 不 能 有 效 降低 误 判 。 因 为 ， 此 
时 驾驶 员 需 要 较 多 地 观测 车 辆 两 侧 ， 而 在 这 样 的 路 口 并 没有 合适 的 分 道 线 来 判 
断 车 辆 是 否 在 转向 。 

驾驶 行为 前 的 固定 动作 ， 如 制 动 前 的 姿势 转换 “ 、 加 速 前 的 眼睛 运动 ” ， 
可 以 是 识别 驾驶 行为 的 充分 依据 。Liu 等 利用 转向 角 、 转 向 速率 、 车 辆 速度 、 
加 速度 来 建立 驾驶 行为 的 隐 马 尔 科 夫 模型 ， 来 识别 驾驶 员 的 转向 、 停 车 等 行为 ， 
识别 率 基 本 在 50% AF. Kuge 应 用 转向 角 、 转 向 速率 、 转 向 力 等 建立 驾驶 员 
转向 行为 的 隐 马 尔 科 夫 模型 ， 实 验证 明 横 型 可 以 识别 鸭 驶 员 不 同 的 变 道行 为 。 
但 是 ， 应 用 到 的 车 辆 参数 需要 特殊 的 传感器 来 测量 。 

除了 应 用 车 辆 的 行驶 参数 ， 还 可 以 利用 驾驶 员 的 动作 来 识别 其 行为 ， 如 驾 
驶 员 的 面部 姿势 、 眼 睛 视线 方向 等 中 。Cheng 等 根据 驾驶 员 转 向 时 面部 、 手 部 的 
姿势 来 建立 了 转向 模型 以 识别 驾驶 员 转 向 行为 "。 但 这 并 不 适合 于 本 书 的 应 用 ， 














99 <=> 


“驾驶 员 视 觉 分 散 特征 识别 及 检测 方法 

因为 本 书 识别 驾驶 员 转 向 的 目的 ， 是 防止 把 驾驶 员 转 向 时 的 视线 偏离 情况 误 认 
为 是 视觉 分 散 行为 ， 所 以 不 能 再 应 用 视线 (面部 姿势 ) 来 识别 驾驶 员 转 向 行为 。 
因此 ,我 们 提出 采用 视频 分 析 检测 、 跟 踪 驾 驶 员 的 手 部 位 置 ， 根 据 手 部 位 置 标 
准 差 识别 驾驶 员 转 向 行为 的 方法 。 


6.2 转 问 类 型 


车 辆 行驶 过 程 中 驾驶 员 需 要 完成 各 种 各 样 的 转向 行为 ， 如 在 高 速 路 斜 道 、 
曲线 道路 、 避 免 路 障 、U 形 弯 处 等 。 在 交叉 路 口 处 的 转向 比较 典型 ， 需 要 车 辆 
的 前 进 方向 变化 90*。 人 们 会 在 T 形 路 口 或 者 十 字 路 口 ， 或 者 是 在 由 文 道 到 干道 
的 转向 处 ， 遇 到 类 似 转向 过 程 。 这 些 路 口 具 有 数目 不 等 的 车 道 ， 连 接 单 向 或 者 
双向 的 道路 。 在 十 字 路 口 处 有 两 类 转向 方式 : 一 是 不 间断 行驶 ， 车 辆 没有 停止 
行为 的 转向 ( 慢 转 ); 二 是 先 停止 再 等 待 至 少 2s 然后 开始 进入 转向 “i 。 在 这 里 
我 们 对 十 字 路 口 处 的 第 一 类 转向 方式 进行 识别 研究 。 


6.3 驾驶 员 手 部 检测 及 位 置 分 析 





6.3.1 手 部 检测 


在 转向 盘 右上 方 安装 摄像 机 ， 来 获取 驾驶 员 手 部 运动 视频 ， 其 中 镜头 对 准 
转向 盘 中 心 ， 与 转向 盘 平面 呈 19. 6° 夹 角 ， 获 取 手 部 图 像 如 图 6- 1a 所 示 。 


320 x 
0 o 左 手中 心 位 置 
.右手 中 心 位 置 








m 
& 
a 
d 
& 
R 
A 
240 
^ x 方向 位 置 (像素 ) 


a) 驾驶 员 手 部 图 像 b) 手 部 定位 结果 
6-1 驾驶 员 手 部 图 像 及 定位 结果 


最 直接 的 手 部 检测 方法 ， 是 根据 第 3 章 建立 的 混合 肤色 模型 进行 双手 检测 。 
但 在 转向 过 程 中 ,驾驶 员 的 双手 有 可 能 交叉 ， 或 者 相互 重合 ， 以 至 于 在 图 像 中 
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不 能 区 分 左 、 右 手 。 为 在 图 像 中 容易 区 分 驾驶 员 的 左 、 右 手 ， 我 们 提出 让 驾驶 
员 双 手 佩戴 不 同 颜色 手套 (左手 红色 、 右 手 蓝 色 ， 都 与 背景 颜色 差别 较 大 ) 的 
方法 来 区 分 其 左 、 右 手 。 戴 手套 的 方法 对 驾驶 员 来 说 侵 和 人 性 较 小 ， 例 如 ， 很 多 
驾驶 员 就 习惯 于 戴 手 套 驾 驶 车 辆 。 

所 摄取 图 像 的 色彩 空间 为 RGB 空间 ,在 RGB 空间 下 根据 红颜 色 的 R 分 量 较 
高 而 G、B 分 量 较 低 ; 蓝 颜色 的 B 分 量 较 高 而 R、G 分 量 较 低 。 根 据 这 些 特 征 选 
择 合 适 阔 值 检测 驾驶 员 的 左右 手 ， 并 对 检测 后 的 图 像 进行 腐蚀 、 膨 胀 ”" 操作 
去 除 杂 散 小 区 域 。 在 检测 出 双手 后 根据 投影 值 确 定 左右 手 的 中 心 位置 ， 定 位 效 
果 如 图 6-1b 所 示 。 


6.3.2 手 部 位 置 分 析 


让 驾驶 员 罗 驶 车 辆 沿 着 典型 的 道路 行驶 ， 并 在 驾驶 员 左 转向 、 右 转向 、 变 
道行 驶 、 直 线 行驶 时 采集 驾驶 员 的 手 部 运动 视频 。 每 种 驾驶 行为 下 各 采集 50 Be 
视频 ， 每 段 大 约 持续 20s。 根 据 6. 3. 1 小 节 中 的 方法 确定 驾驶 员 左 右手 中 心 的 x、 
y 位 置 ， 作 为 驾驶 员 手 部 位 置 ， 其 变化 规律 如 图 6-2 所 示 。 

从 图 中 我 们 可 以 清楚 地 看 出 ， 转 向 行为 与 其 他 行为 的 不 同 。 驾 驶 员 左 右手 
的 位 置 在 转向 时 变化 比较 剧烈 ， 特 别 是 在 y 方向 上 的 变化 更 加 明显 ， 并 且 主 要 
集中 在 驾驶 员 转 向 开始 或 者 即将 结束 时 。 既 然 驾 驶 员 手 部 位 置 在 转向 时 变化 剧 
烈 ， 那 么 我 们 可 以 根据 手 部 位 置 的 标准 差 来 判断 驾驶 员 是 否 在 转向 。 选 择 每 种 
驾驶 行为 中 视频 比较 完整 、 图 像 质量 较 好 的 10 段 ， 计 算 手 部 位 置 标准 差 的 平均 
值 ， 结 果 如 表 6-1 所 示 。 





















































表 6-1 手 部 位 置 标准 差 (单位 : 像素 ) 
左手 位 置 标准 差 右手 位 置 标准 差 
x Fe y 方 向 x Fie y 方 向 
左 转向 7.1 29.2 10.9 24.4 
右 转 向 6.5 13.9 7.3 20.6 
变 道 行驶 2.3 6.4 2.4 4.0 
直线 行驶 1.7 4.2 1.9 4.1 














因为 转向 等 行为 所 耗费 的 时 间 不 一 致 ， 因 此 表 6-1 中 统计 标准 差 时 使 用 的 
时 间 窗 口 的 宽度 也 不 一 致 。 其 中 ， 转 向 的 起 始点 为 区 驶 员 手 部 开始 向 相应 方向 
移动 的 时 间 ， 终 点 为 驾驶 员 手 部 停止 向 原来 位 置 恢复 运动 的 时 间 ， 其 中 转向 的 
平均 时 间 是 10.7s， 如 表 6-2 所 示 。 
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noo 变 道 行驶 
一 一 直线 行驶 


:方向 位 置 (像素 ) 
E 
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图 像 序列 / 帧 


2 方向 位 置 (像素 ) 





50 100 150 200 250 
图 像 序列 / 帧 
a) 左手 位 置 


图 6-2 不 同 驾驶 行为 中 左右 手 位 置 变化 规律 
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图 像 序列 / 帧 
b) 右手 位 置 


图 6-2 不 同 驾驶 行为 中 左右 手 位 置 变 化 规律 (2) 





表 6-2 驾驶 员 转 向 时 间 统 计 (单位 : s) 
最 长 最 短 平 均 标 准 差 
时 间 14. 4 7.3 10.7 2.5 


# 6-1, d 6-2 中 统计 的 数据 是 在 没有 信号 灯 及 其 他 车 辆 、 行 人 干扰 情况 
下 进行 的 转向 ， 因 为 信号 灯 、 干 扰 物 的 影响 会 使 驾驶 员 的 驾驶 行为 变 得 非常 
Zu 


zo 





Rl 
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6.4 粒子 滤波 跟踪 


在 视频 图 像 的 每 一 帧 中 定位 驾驶 员 的 双手 位 置 显然 会 降低 系统 的 实时 性 。 
根据 视频 图 像 的 特点 ， 利 用 相 邻 两 帧 图 像 间 的 相关 性 ， 采 用 目标 跟踪 方法 可 以 
进一步 提高 驾驶 员 双手 的 定位 速度 。 

粒子 滤波 ， 又 称 为 序列 蒙特 卡 洛 方法 ， 其 基本 思想 是 通过 一 系列 加 权 粒 子 
来 通 近 目标 的 后 验 概率 密度 。 


6.4.1 粒子 滤波 跟踪 原理 
假设 目标 的 状态 转移 模型 为 























x, zf(x, 4) +Aw, (6-1) 
式 中 /一 一 关于 状态 x, ,的 非 线性 函数 ， 太 只” x WOM"; 
Wi 一 一 一 组 独立 同 分 布 的 离散 过 程 噪声 序列 ，:e N; 
nn 一 一 状态 向 量 的 维 数 ; 
mu 一 一 过 程 噪声 向 量 的 维 数 ; 


N 一 一 自然 数 集合 。 
式 (6-1) 中 假定 了 运动 系统 是 一 个 一 阶 马 尔 可 夫 过 程 ， 本 节 以 下 的 公式 推 
导 也 都 服从 该 假设 。 令 目标 的 观测 模型 为 
y,=g(%,) + Bv, (6-2) 
式 中 g 一 一 关于 状态 x, 的 非 线 性 函数 ，g: 9" x 99"; 
一 个 独立 同 分 布 的 离散 观测 噪声 序列 ，te N; 

















v, 
n, 一 一 分 别 为 观测 向 量 的 维 数 ; 
只 ,一 观测 噪声 向 量 的 维 数 。 











如 图 6-3 所 示 ， 贝 叶 斯 滤波 原理 的 实质 是 试图 用 所 有 已 知 信息 来 构造 系统 
状态 变量 的 后 验 概 率 密度 ， 即 用 系统 状态 转移 模型 预测 状态 的 先 验 概 率 密度 ， 
再 使 用 最 近 的 观测 值 对 其 进行 修正 ， 得 到 后 验 概率 密度 '" 。 


ps, | xi) 


不 可 观 


可 观 


























图 6-3 目标 跟踪 的 状态 - 空间 模型 


=> 104 


第 6 章 驾驶 员 转 向 行为 识别 ml 


1. 预测 

假设 已 经 得 到 了 t-1 时 刻 的 后 验 pdf p(x ,| 工 ,) ， 那 么 利用 系统 的 状态 转 
移 模 型 [如 式 (6-1) 所 示 ] ， 可 以 获得 上 时 刻 状态 变量 的 先 验 pdf。 由 Chapman- 
Kolmogorov 方程 得 


pG lY) = | pla, lz)p(z 1,124, , (6-3) 


上 述 公式 的 推导 利用 了 系统 状态 转移 模型 中 所 描述 的 一 阶 马 尔 科 夫 过 程 ， 
BI p(x, |x ,, Y, ,) 2pCx, |x, ，)， 而 通过 系统 的 运动 模型 以 及 统计 量 wa, T 
以 确定 状态 预测 概率 模型 p(x, 1x, 1) 0 

2. 更 新 

在 上 时刻 有 新 的 观测 值 y, 引 入 ， 那 么 可 以 用 它 来 更 新 先 验 pdf p(x, | Y, ,) 来 
获得 当前 状态 的 后 验 pdf p(x, | 7Y)。 根 据 贝 叶 斯 公式 和 马尔 科 夫 过 程 的 性 质 有 
px, |x, ) pCx, |y) 

p(s |Y.) = p(y, 1Y,a) 

其 中 ,标准 化 常量 p(y ya) = [pr |e pC | .1) dd, 由 观测 模型 式 (6-2) 


和 统计 量 wv 所 定义 的 似 然 函数 p(y, | x,) 所 决定 。 对 于 非 线 性 、 非 高 斯 系统 想 采 
用 上 述 的 卡尔 曼 滤 波 方 法 来 得 到 贝 叶 斯 解 是 很 困难 的 ， 而 粒子 滤波 则 提供 了 一 
个 有 效 手段 ， 得 到 这 种 情况 下 的 贝 叶 斯 解 。 


6.4.2 序 贯 重要 采样 


序 贯 重要 采样 (Sequential Importance Sampling, SIS) 是 粒子 滤波 的 核心 技 
术 。 如 果 系 统 的 整个 递归 过 程 符合 马尔 可 夫 假 设 ,那么 1 时刻， 系统 状态 的 后 验 
pdf 可 用 一 组 带 有 权 值 的 粒子 {x,"” , xO} RRA 

p(x Y.) ~ D wo, -a ) (6-4) 
AP ww, 中 一 一 粒子 对 应 的 权 值 ,， 且 X w=1; 
5( + ) 一 一 狄 拉克 函数 。 
一 般 令 x,'”~g(X,|Y,)， 并 且 满 足 
q(X, |Y,) =q(%, LX as Y) aC a a) (6-5) 

这 样 ， 便 可 以 通过 前 一 时 刻 的 已 知 采 样 zx o6q(X, ,| 了 71)， 以 及 当前 的 
先 验 状态 x， cg (x, | X, LY) 来 获取 守 时 刻 的 采样 oq (X, | Y), XB 
4( 蕊 | 又 ) 称 为 重要 密度 函数 。 这 样式 (6-4) 的 权 值 定义 为 

GO ou POE LY) 
"o qGP | Y) 
事实 上 ， 每 一 时 刻 粒 子 的 权 值 都 是 通过 层 层 迭代 演化 而 来 的 ， 由 贝 叶 斯 公 

































































(6-6) 
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pn, | Y) p(y, | x) po, | x, Dp C... | Y.) (6-7) 
代入 式 (6-6) ， 得 到 权 值 的 迭代 公式 
D pe ay a PY; | x,) p(x, |x, 1) 
Me M al l ae. 
在 给 定 重 要 性 分 布 函数 q(X, Y, WET, 5X (6-8) 给 出 递 推 计算 重要 
性 权 值 的 方法 。 


6.4.3 BRE 


为 了 避免 序 贯 重要 性 采样 方法 的 粒子 退化 现象 ，Gordoni2.21 等 人 提出 了 重 
采样 方法 。 
Tan'** 引 等 提出 了 一 个 有 效 采样 尺度 的 概念 ， 定 义 有 效 采 用 尺度 为 
N, 
#1 + var(o,) 
式 中 ow“? —#i FW BSA, 
但 式 (6-9) 很 难 进行 精确 估计 ， 因 此 一 般 利 用 N_ ARE Nj 来 近似 计算 
A 1 
Na T yx (gy: (6-10) 
式 中 ww, 中 一 一 归 一 化 后 的 粒子 权 值 。 
6.4.4 基于 直方 图 的 粒子 滤波 算法 
Nummiaro''* 等 提出 了 一 种 基于 直方 图 的 粒子 滤波 方法 。 
Color Particle Filter 跟踪 算法 
在 时 间 步 上 -1， 已 知 S in, bpa =1， 2, +, MI 
步骤 1 对 每 个 粒子 计算 其 累计 权重 
c =0 
Chai zie m |i=1,2,.…,M, 
从 而 有 Si mie os bias Cha EST, 2, =, M] 
步骤 2 BORE, WS QUERCUM RAS 〈 可 以 重复 ) 。 
步骤 3 应 用 模型 xi = fud) + 预测 大 时 间 步 的 状态 。 
步骤 4 对 新 状态 x;， 根据 p(y |x) 求 与 之 对 应 的 权重 5。 


M 
SRS 将 权重 归 一 化 为 Yo = 1 ， 同 时 构建 状态 组 合 。 
S 2 Tat. [o2 M] 





(6-8) 





(6-9) 
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步骤 6 由 中 = lal, A |i=1,2,L，M| 估计 目标 在 时 间 步 的 状态 
= Xx 
6.5 驾驶 员 手 部 跟 中 


6.5.1 状态 转移 模型 


选择 两 个 矩形 区 域 来 表示 驾驶 员 两 只 手 ， 以 一 只 手 为 例 进行 说 明 ， 其 状态 
向 量 可 以 定义 为 





X= ix, Ve Y Sse es 81 (6-11) 
式 中 x, y EJE BJ roc Ab bn; 
x' ，y' 一 一 矩形 中 心 的 移动 速度 ; 
和 矩形 的 宽 和 高 ; 
,xs 一 矩形 宽 和 高 的 变化 速度 。 
采用 一 阶 自 回归 模型 对 这 些 参数 建 模 ， 则 有 
X,2X,,*V, (6-12) 
式 中 只 一 一 多 变量 标准 正 态 分 布 的 噪声 。 


6.5.2 颜色 特征 及 其 观测 模型 


定义 目标 矩形 区 域内 的 颜色 分 布 为 p(x) = {p,(x)}, wal, 2, 7, m, m 为 直方 
图 的 级 数 。 采 用 核 了 sco cadi rico -« 心 区 域 的 权 值 增 大 


p(x) = BAL 


XP ô Kronecker delta PAX; 
k—}K PAL, PLUM Epanechnikov TZ KIZ. 
以 q 表示 目标 模型 ，p(x) 为 候选 目标 x 的 特征 表达 ， 两 者 的 相似 性 可 表示 为 











js) -u] (6-13) 























d.[p(y),q] = J - 2: SPAY IG: (6-14) 
相应 的 观测 似 然 值 〈 即 权重 ) 可 以 定义 为 
1 d; 
b = Xp 一 一 一 6-15 
? omg gi ( ) 











式 中 o 一 一 观测 高 斯 噪声 的 标准 方差 。 
6.5.3 FRE 
为 了 验证 跟踪 算法 的 定位 性 能 ， 进 行 驾驶 员 双 手 跟踪 实验 。 跟 踪 中 粒子 数 
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均 取 N=200。 所 有 的 实验 均 是 在 Intel Pentium Dual E2180 2. 00Ghz CPU, 2G 内 
FFA PC 上 实现 的 ， 在 Matlab2006 的 软件 环境 下 可 以 达到 大 约 7 帧 /s 的 处 理 速 
度 。 为 了 避免 跟踪 的 累积 误差 ， 跟 踩 进行 一 定时 间 后 ， 重 新 检测 手 部 位 置 。 如 
果 检 测 到 的 手 部 位 置 与 跟踪 结果 相差 较 大 ， 则 以 检测 结果 为 准 ， 初 始 化 跟踪 模 
块 ， 以 提高 跟踪 系统 的 鲁 棒 性 。 双 手 跟 踪 结 果 如 图 6-4 所 示 。 





图 6-4 驾驶 员 双 手 跟踪 结果 


6.6 驾驶 员 转 问 行为 识别 


根据 图 6-3 RK 6-1， 可 以 看 出 驾驶 员 在 转向 时 手 部 的 运动 要 比 其 他 驾驶 情 
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况 时 复杂 得 多 。 设 置 合适 的 阐 值 ， 利 用 手 部 位 置 的 标准 差 可 以 识别 出 驾驶 员 的 
转向 行为 。 本 书 识别 转向 的 目的 是 防止 检测 系统 把 驾驶 员 此 时 的 视线 偏离 误 认 
为 是 视觉 分 散 行 为 ， 这 就 要 求 统计 手 部 位 置 标准 差 的 时 间 窗 口 不 能 过 长 ， 因 此 
本 书 选择 50 帧 图 像 中 的 手 部 位 置 来 计算 标准 差 ( 帧 率 =30 Ws), UA AUR 
手 的 位 置 在 y 方 向 上 的 变化 更 剧烈 一 些 ， 因 此 以 驾驶 员 左 右手 在 y 方 向 上 位 置 的 
标准 差 为 判断 依据 。 这 样 从 视频 图 像 的 第 50 帧 开始 计算 标准 差 .计算 结果 如 
图 6-5 所 示 。 
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b) 左 转向 
图 6-5 ”驾驶 员 双 手 y 方 向 位 置 标准 差 
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d) 直线 行驶 


6-5 驾驶 员 双 手 y 方向 位 置 标准 差 〈 续 ) 


从 图 6-5 可 以 看 出 驾驶 员 左 右手 在 y 方 向 上 的 位 置 标准 差 ， 在 转向 时 要 明显 
大 于 其 他 驾驶 行为 时 的 标准 差 。 特 别 是 在 转向 行为 的 始末 ， 双 手 位 置 标 准 差 明 
显 俩 大 。 因 为 在 转向 行为 的 中 间 ， 驾 驶 员 需 要 在 一 段 时 间 内 保持 转向 角度 的 稳 
定 ， 所 以 手 部 位 置 的 标准 差 有 所 降低 。 和 驾驶 员 在 行车 过 程 会 发 生 一 只 手 离开 转 
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向 盘 的 行为 ， 如 在 换 档 、 调 节 收 音 机 等 的 时 候 。 但 是 ,驾驶 员 不 会 双手 同时 离 
开 转 向 盘 ， 因 此 选择 驾驶 员 两 上 只 手 位 置 的 标准 差 为 判断 依据 ， 只 有 两 只 手 位 置 
的 标准 差 同时 超过 某 个 阔 值 ， 才 认为 驾驶 员 发 生 了 转向 行为 。 考 虑 到 两 种 现象 
对 转向 行为 识别 的 影响 ， 并 假设 视频 开始 部 分 驾驶 员 没 有 转向 行为 ， 我 们 提出 
转向 行为 识别 算法 如 图 6-6 所 示 。 




















图 6-6 转向 行为 识别 算法 
(图 中 STD 一 双手 位 置 的 标准 差 、TH 一 阅 值 、T 一 标志 位 、SUM 一 非 转 向 帧 数 和 ) 





设置 标志 位 的 目的 是 区 分 转向 开始 与 结束 部 分 ， 计算 非 转 向 帧 数 和 的 目的 
是 防止 把 非 转向 误 检 测 为 转向 后 ， 长 时 间 的 把 非 转向 误 识别 为 转向 。 本 书目 的 
是 区 分 驾驶 员 是 否 在 进行 转向 ， 因 此 在 识别 时 不 再 区 分 左右 转向 ， 并 把 直线 行 
驶 、 变 道行 驶 定义 为 其 他 类 型 。 设 定 国 值 为 10 像素 ， 对 表 6-1 中 涉及 的 驾驶 行 
为 进行 识别 实验 ， 识 别 结 果 如 表 6-3 所 示 。 











表 6-3 转向 识别 结果 (%) 
左 转 向 A 转 向 直线 行驶 变 道 行驶 
识别 为 转向 93.5 94.6 4.7 5 





整体 来 看 识别 率 较 高 ， 分 析 错 误 识 别 的 例子 ， 发 现 把 转向 误 识 为 非 转 向 的 
图 像 主要 发 生 在 转向 开始 的 15 帧 图 像 内 。 而 把 非 转向 识别 为 转向 的 情况 主要 发 
生 在 转向 结束 后 ， 这 时 识别 错误 的 图 像 较 少 ,一 般 在 5 帧 以 内 。 在 变 道 、 直 线 
行驶 的 过 程 中 也 有 少量 图 像 被 识别 为 转向 行为 ， 主 要 原因 是 阔 值 设置 较 小 的 问 
题 ， 增 大 国 值 可 以 防止 这 部 分 的 识别 错误 ， 但 是 会 增加 其 他 情况 下 的 错误 识 
别 率 。 
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ROM 59 驶 员 的 转向 行为 进行 识别 研究 ， 提 出 利用 驾驶 员 手 部 位 置 的 标准 

只 别 转向 行为 的 方法 ， 并 研究 了 视频 网 像 中 驾驶 员 双 手 的 定位 及 跟踪 。 本 书 
PAUSE BBE VOCE BUE TT, FR OTT Y A E DETTO NETS Bh AE 
Ai AE Res, AWA Da TEE te] EY OE DL EEAE AE TUBE IAM, n] VS RU 
特征 识别 驾驶 员 的 转向 行为 。 为 提高 驾驶 员 双 手 定位 的 实时 性 ， 研 究 了 粒子 滤 
波 算 法 跟踪 芍 驶 员 双 手 的 方法 。 最 后 提出 转向 行为 识别 算法 ,实验 证 明 此 算法 
能 有 效 识 别 轨 驶 员 的 转向 行为 。 
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7.1 概述 


在 智能 车 辆 、 机 顺 人 等 导航 过 程 中 经 常 应 用 到 道路 检测 。 道 路 可 分 为 两 类 ， 
结构 化 道路 和 非 结构 化 道路 。 结 构 化 道路 一 般 是 指 高 速 公 路 和 部 分 结构 化 较 好 的 
公路 ， 针 对 这 类 道路 检测 问题 就 可 简化 为 车 道 线 或 道路 边界 的 检测 。 非 结构 化 道 
路 一 般 指 结构 化 程度 较 低 的 道路 ， 道 路 可 能 凹凸 不 平 ， 道 路 上 可 能 有 阴影 、 水 迹 、 
泥 沙 等 ， 改 变 了 道路 的 表面 特征 ， 非 结构 化 道路 的 检测 主要 为 检测 道路 的 边界 。 

目前 ， 各 种 基于 视觉 的 结构 化 道路 检测 技术 基本 上 采用 两 种 检测 途径 : 
一 种 是 整体 路 面 法 ， 利 用 区 域 检测 方法 实现 ， 主 要 是 针对 整个 道路 路 面 设 计算 
ik; 另 一 种 是 道路 边缘 或 车 道 线 检测 法 ， 通 过 对 道路 边缘 或 车 道 线 的 检测 来 实 
现 道路 的 检测 ， 这 种 检测 方法 简单 实用 ， 能 适应 现 有 高 速 公路 的 结构 化 环境 ， 
与 基于 整体 法 的 道路 检测 技术 相 比 ， 这 种 道路 检测 方式 具有 更 快 的 图 像 处 理 速 
度 和 更 高 的 检测 精度 ， 也 具有 更 好 的 应 用 前 景 。 典 型 的 检测 方法 主要 有 : AU- 
RORA 系统 利用 可 变 模 板 检测 车 道 标志 线 ; Klgue ^ 利用 可 调整 的 车 道 结构 模 
板 检测 车 道 边界 ， 该 方法 不 需 设 定 亮 度 变化 的 冰 值 ; GOLD RAS 利用 模式 匹配 
技术 检测 车 道 标志 线 ; LANA 系统 上 通过 在 频 域 内 捕捉 边缘 信息 的 大 小 和 方向 进 
行 边缘 检测 ; Wang 等 39] 在 边缘 潜在 区 域 , 采用 B- 样 条 Snake 模型 和 Catmull- 
Rom 样 条 模型 检测 车 道 曲线 ; TFALDA 系统 "利用 车 道 边 缘 的 起 始 位 置 、 方 向 
性 及 图 像 灰 度 值 等 特征 检测 车 道 标 志 线 ; VioLET 系统 "通过 可 变 滤 波 器 检测 车 
道 标 志 线 ， 并 用 可 变 模板 估计 车道 曲线 。 

非 结构 化 道路 检测 算法 可 以 分 为 三 大 类 : 基于 道路 特征 的 方法 :5 、 基 于 
道路 模型 的 方法 "和 基于 神经 网 络 的 方法 '" 等 。 基 于 道路 特征 的 检测 方法 ， 根 
据 道路 区 域 与 非 道路 区 域 在 边缘 、 纹 理 、 颜 色 等 方面 的 不 同 ， 判 断 道路 区 域 ; 
基于 模型 的 检测 方法 首先 对 道路 模型 做 出 假设 ， 如 直线 、 抛 物 线 、 样 条 曲线 等 
模型 ， 然 后 根据 道路 图 像 匹 配 道路 模型 ， 检 测 出 的 道路 区 域 比 较 完 整 ， 但 在 道 
路 结构 比较 复杂 的 情况 下 ， 很 难 建立 准确 的 模型 与 道路 匹配 ; 基于 神经 网 络 的 
































=> 114 


第 7 章 ， 车 道 检测 研究 全 
方法 ， 具 有 神经 网 络 的 学 习 特 性 ， 但 需要 大 量 的 训练 样本 。 

本 书 对 于 结构 化 道路 的 检测 ， 采 用 分 区 投影 的 方法 检测 车 道 线 边缘 点 ， 然 
后 用 边缘 点 拟 合 出 车 道 线 的 边缘 方程 ， 对 于 非 结构 化 道路 的 检测 ， 采 用 模糊 C 
均值 方法 将 彩色 道路 图 像 聚 类 分 块 ， 然 后 通过 分 析 各 图 像 块 的 特征 来 检测 道路 
区 域 ， 最 后 进行 边缘 拟 合 


7.2 结构 化 道路 检测 


对 于 结构 化 道路 的 检测 ， 本 书简 化 为 检测 车 道 线 ， 国 内 高 速 公 路 主要 分 为 
直道 和 弯 道 两 种 类 型 。 按 国家 标准 '" ， 高 速 公 路 转弯 半径 需 大 于 650m， 即 使 在 
40m 以 内 弯 道 也 可 以 近似 地 认为 是 直道 ， 且 误差 小 于 0.01m'"” 。 因 此 ， 和 车 辆 前 
方 近 距 离 的 车 道 标 志 线 可 以 用 直线 进行 拟 合 ， 鉴 于 此 情况 ， 本 书 将 只 检测 直线 
车 道 标 志 线 ， 建 立 直 线 模型 。 

现 有 大 部 分 方法 只 是 基于 结构 特征 进行 分 析 ， 没 有 考虑 到 车 道 标 志 线 在 图 
像 中 的 空间 位 置信 息 ， 这 样 处 理 的 缺点 是 运算 量 大 ， 重 棒 性 差 ， 对 外 界 条 件 要 
ee pe ASHE ell 吉 果 干扰 大 。 本 书 的 车 道 检测 算法 考虑 了 空间 位 置信 

算法 首先 是 基于 以 下 几 点 假设 : 

D 针对 吉 构 化 道路 的 检测 ， 车 道 标 志 线 较为 明显 。 

2) 车 辆 行驶 基本 (或 大 多 数 时 间 ) 位 于 两 车 道 标 志 线 中 间 。 

3) 车 辆 偏离 检测 只 需 检 测 前 方 较 近 一 段 距 离 ， 即 检测 的 车 道 标志 线 假设 为 
直线 段 。 

A) 初始 检测 时 ， 两 车 道 线 中 间 无 其 他 标志 线 或 文字 等 。 


7.2.1 图 像 预 处 理 


在 检测 车 道 标 志 线 之 前 ， 为 提高 检测 精度 ， 减 小 检测 误差 ， 特 对 图 像 进行 
预 处 理 ， 本 书 主要 进行 灰 度 图 像 平滑 和 灰 度 图 像 拉 伸 处 理 。 

7.2.1.1 灰 度 图 像 平滑 

图 像 平滑 是 一 种 实用 的 图 像 处 理 技术 ， 能 减弱 或 消除 图 像 中 的 高 频 分 量 ， 

不 影响 低频 分 量 。 高 频 分 量 主要 对 应 图 像 中 的 区 域 边缘 等 像素 值 具有 和 较 大 、 
B o rma 局 部 灰 度 起 伏 ， 均 匀 像 素 值 。 
常用 图 像 方法 有 : 线性 平滑 、 非 线性 平滑 和 自 适 应 平滑 。 

自 适应 平滑 的 思想 为 : 中心 点 像素 值 的 大 小 取决 于 其 邻 域 中 占 主 要 成 分 的 
像素 值 ， 滤 波 器 设计 如 下 。 

首先 ， 定 义 中 心 点 与 其 邻 域 的 像素 值 偏 差 ， 公 式 如 下 

da (i,j) = Io (i,j) - Tox, y) | (7-1) 
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式 中 (x,y) 一 — 灰 度 图 像 中 心 点 (x, y) 像素 值 ; 
16(i,j) 一 一 灰 度 图 像 中 心 点 (x，y) 邻 域 像素 值 ; 
0 一 中 心 点 (x, y) 的 邻 域 ， 本 书 取 5 x 5 矩阵 ; 
du 一 邻 域内 的 偏差 矩阵 。 

如 果 中 心 像素 点 (x, y) 邻 域 的 像素 值 分 布 均匀 ， 则 偏差 矩阵 do 的 值 变化 
不 大 ， 通 过 计算 方差 D, 判断 邻 域 像素 值 是 否 存在 较 大 变化 。 若 满足 D, <5, 说 
明 中 心 像素 点 邻 域 的 像素 值 变 化 较 小 ， 图 像 颜色 单一 ， 则 中 心 像素 点 的 平滑 ， 
直接 计算 其 邻 域 的 均值 即 可 得 到 ， 如 果 D, 二 5 ， 则 需 按 照 下 面 的 方法 计算 邻 域 像 
素 的 主要 成 分 。 

利用 Otsu 算法 将 do 分 为 两 类 ddi, dy}, MAMER: (n, ml, n+ 
n, =25。 根 据 邻 域内 占 主要 成 分 的 像素 值 平滑 中 心 点 的 像素 值 ， 平 滑 公 式 如 下 








l(x,y) = = (7-2) 


式 中 N=max(n,,n,); 

(i,j) 一 一 取 N 相对 应 的 像素 值 。 

图 7-1 即 为 道路 图 像 的 平滑 结果 ， 采 用 该 平滑 算法 可 以 更 好 地 均匀 图 像 的 
灰 度 值 ， 同 时 还 可 以 尽量 保持 图 像 的 原始 特征 。 











a) 原始 灰 度 图 像 b) 平滑 后 图 像 
图 7-1 图 像 平滑 


7.2.1.2. KERMA 

灰 度 拉 伸 是 指 根据 灰 度 直方 图 的 分 布 ， 有 选择 地 拉 伸 某 一 段 内 像素 的 灰 度 
值 以 改善 输出 图 像 的 质量 ， 灰 度 拉 伸 是 一 种 最 简单 、 最 有 效 的 图 像 对 比 度 增 强 
方法 '。 灰 度 拉 伸 可 以 使 灰 度 动态 范围 加 大 ， 图 像 对 比 度 得 到 扩展 ， 图 像 更 清 
晰 ， 特 点 更 明显 ， 灰 度 拉 伸 是 图 像 增 强 的 重要 手段 。 

图 像 灰 度 拉 伸 可 分 为 线性 变换 和 非 线 性 变换 两 大 类 ， 其 中 线性 变换 又 分 为 
简单 线性 变换 和 分 段 线性 变换 两 种 ， 它 们 都 是 在 某 一 像素 范围 内 成 固定 比例 的 
增 大 (或 减 小 ) 像素 值 ， 由 于 比例 不 变 ， 并 不 能 最 大 化 拉 伸 像素 范围 ; 而 非 线 
性 变换 可 在 整个 像素 范围 内 随 着 像素 值 的 变化 ， 其 拉 伸 比例 也 跟随 变化 ， 能 较 
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$ x 
ug 


好 改善 图 像 的 像素 分 布 ， 主 要 有 Sigmoid 函数 和 双 曲 正切 函数 (Th) 拉 伸 等 。 本 


书 采用 非 线性 函数 拉 伸 灰 度 图 像 。 
(1) Sigmoid 函数 定义 如 下 


Sis 255 
1 


= hy 





(x-k) 
te k 





式 中 RESA; 

一 一 曲线 陡 度 控制 系数 ; 
像素 值 , x e [0, 255]. 
Sigmoid 函数 曲线 如 图 7-2a 所 示 。 
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a) Sigmoid 
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b) Th 


图 7-2 拉 伸 函数 曲线 


(7-3) 
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C) Sin 
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d) Sigmoid ~ Th , Sin 


图 7-2 拉 伸 函数 曲线 ( 续 ) 


(2) 双 曲 正切 函数 定义 如 下 





nes men 
e k —e 1 大 

T(x) = menn PREEN (7-4) 
el ko pe Ta 





式 中 4 一 灰 度 分 割 参数 ; 
三 一 一 曲线 陡 度 控制 系数 ， 
像素 值 ,x e [0, 255]. 





X 
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双 曲 正切 函数 曲线 如 图 7-2b 所 示 。 

从 图 7-2a 和 图 7-2b 中 可 以 看 出 ，Sigmoid 函数 、 双 曲 正 切 函 数 的 曲线 陡峭 
( 陡 度 控制 系数 已 达 极 限 ) ， 和 斜率 较 大 会 使 图 像 像 素 值 变化 剧烈 ， 不 适合 本 书 的 
图 像 处 理 。 

本 书 采 用 基于 Sin 函数 的 调整 曲线 ， 函 数 定 义 如 下 所 示 


k[ sin(-(4--1)) +1] O<x <k 
Sin(x) = n (7-5) 
(255 - k) sin( tsas ) th berag 





式 中 一 一 灰 度 分 割 参数 ; 
x 一 一 像素 值 , xe[0, 255], 

拉 伸 曲线 如 图 7-2c 所 示 ， 当 x < 上 时， 曲线 位 于 直线 y =x 的 下 方 ， 图像 像 
素 值 缩小 ; 当 x 宇 k 时 ， 曲 线 位 于 直线 y =x 的 上 方 ， 图 像 像 素 值 增 大 。 物 理 意义 
为 : 图 像 像素 点 越 暗 ， 拉 伸 后 会 更 暗 ， 图 像 像素 点 越 亮 ， 拉 伸 后 更 亮 ， 加 大 了 
图 像 的 对 比 度 。 根 据 实 际 情 况 本 书 中 有 =120。 

从 图 7-2d 中 可 以 看 出 ， 三 种 曲线 都 能 实现 灰 度 拉 伸 功 能 ， 但 是 Sigmoid, Th 
函数 曲线 由 于 函数 自身 性 质 ， 其 偏离 直线 y =x 的 距离 较 远 ， 即 曲线 斜率 波动 较 
大 ， 这 样 会 使 拉 伸 后 的 灰 度 图 像 像素 值 波动 较 大 ， 改 变 原始 图 像 的 纹理 特征 ， 
丧失 很 多 信息 ， 而 Sin 函数 曲线 变化 较为 平缓， 不 会 大 尺度 改变 像素 值 ， 从 而 可 
以 在 保留 更 多 信息 的 前 提 下 进行 拉 伸 灰 度 。 各 种 方法 的 图 像 拉 伸 结 果 如 图 7-3 
TIAN o 








b) Th 拉 伸 图 像 c) Sin 拉 伸 图 像 


图 7-3 灰 度 拉 伸 效果 图 


图 7-3 为 图 7-1c 的 灰 度 拉 伸 图 ， 可 以 看 出 Sigmoid 拉 伸 后 图 像 对 比 度 增强 ， 
车 道 线 变 得 更 白 ， 和 车 道 变 得 更 黑 ， 这 样 有 利于 图 像 的 后 续 处 理 。 然 而 ， 道 路 中 
某 些 区 域 由 于 光照 的 影响 ， 其 亮度 较 大 ， 由 于 拉 伸 曲线 斜率 较 大 ， 使 得 拉 伸 后 
其 亮度 更 大 ， 变 成 白色 ,改变 了 原 图 像 ， 双 曲 正 切 拉 伸 效果 同样 存在 此 缺点 ; 
而 Sin 函数 在 不 改变 原始 图 像 的 条 件 下 ， 增 大 了 图 像 的 对 比 度 ， 符 合 图 像 处 理 


a) Sigmoid 拉 伸 图 像 
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7.2.2. 车 道 标 志 线 分 区 投影 


假设 图 像 中 间 偏 下 位 置 ( 车辆 正 前 方 较 近 区 域 ， 为 结构 化 道路 及 车 道 标 志 
线 部 分 ， 此 处 图 像 纹理 简单 ， 干 扰 较 少 ， 路 面 与 车 道 标志 线 的 灰 度 值 差 别 较 大 ， 
因此 采用 投影 方法 即 可 区 别 出 路 面 和 车 道 标志 线 。 由 于 图 像 透视 关系 ， 车 道 标 
志 线 在 图 像 中 呈现 倾斜 状态 ， 如 图 7-4 所 示 。 直 接 在 全 局 进行 灰 度 投影 不 能 定 
位 出 车 道 标志 线 ， 因 此 ， 需 将 图 像 进 行 分 制 ， 然 后 分 区 域 投影 ， 投 影 曲 线 的 
谷 点 即 为 车 道 标 志 线 边缘 。 此 外 ,分 区 域 投影 还 可 以 最 大 限度 去 除 干扰 的 
影响 。 

将 道路 图 像 分 割 成 条 状 区 域 ， 如 图 7-4 所 示 。 图 7-5 为 车 道 标 志 线 模型 示意 
图 ， 现 只 取 其 中 两 个 区 域 分 析 ， 每 个 区 域内 有 两 小 段 车道 标志 线 ， 车 道 标 志 线 
为 平行 四 边 形 ， 顶 点 分 别 标注 为 14, ~4*，B ~ Bs ， 显 然 由 于 位 置 关 系 B 与 
A B, S A,, B, 与 A,, B, 与 A, 的 坐标 点 重合 ， 分 别 将 这 两 个 区 域 按 照 式 
(3-3 ) 进 行 垂 直 积 分 投影 。 















































图 7-4 图 像 分 割 示意 图 图 7-5 ”车道 标志 线 模型 








图 7-5 的 垂直 积分 投影 如 图 7-6 所 示 , B 5S A,, B, SA,, B, 与 4;、B, 与 
A, 的 横 坐 标 相同 ， 点 AQ. Bi, A, By. As. Bs, Ag, B, 的 横 坐 标 即 为 车 道 标志 
线 边缘 的 横 坐 标 ， 而 纵 坐 标 在 图 像 分 割 时 已 名 c. 由 此 可 以 检测 出 车 道 边 
缘 点 。 

由 于 道路 灰 度 像素 值 的 波动 ， 投 影 曲 线 也 会 出 现 起 伏 、 毛 刺 等 现象 ， 如 果 
不 进行 平滑 处 理 ， 在 求 极 值 时 很 容易 陷 人 局 部 最 优 ， 因 此 必须 对 投影 曲线 进行 
平滑 。 曲 线 平滑 最 常用 的 方法 就 是 邻 域 数值 平均 。 然 而 直接 进行 邻 域 数 值 平 均 。 
由 于 在 拐点 处 邻 域 中 的 数值 相差 很 大 ， 平 均 后 真实 值 就 会 改变 巨大 ， 曲 线形 状 
也 会 跟随 改变 ， 因 此 需 对 原始 平 请 算法 进行 改进 。 原 始 邻 域 数 值 平均 平滑 公式 
如 式 (7-6) 所 示 









































Yl X Von) (7-6) 
Xu oa 





横 坐 标 位 置 ; 
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图 7-6 ”车道 标志 线 投影 示意 图 
邻 域 长 度 。 
改进 策略 : 由 于 本 书 中 采用 积分 投影 ， 因 此 曲线 不 会 出 现 因 干 扰 而 造成 的 
剧烈 波动 。 首 先 ， 判断 邻 域 值 与 中 心 值 的 差 值 4， 如 果 差 值 大 于 设 定 阔 值 D， 则 
剔除 该 像素 值 ， 该 值 不 参加 平滑 运算 ， 即 只 在 波动 幅 值 较 小 时 进行 平滑 运算 ， 
这 样 可 尽 最 大 程度 上 保留 曲线 形状 。 改 进 后 的 平滑 公式 如 下 


L 











xy =x+L/2 

















> k(x) V(x) 
V(x) = iis (7-7) 
2 kC) 
式 中 V(x) 一 一 在 x 处 的 平滑 投影 曲线 值 ; 
x——HHZe hihi, 3<x<N-2; 





N 一 一 横 坐 标 最 大 值 ; 











V(x, ) 一 一 原始 投影 曲线 ，; 
/一 邻 域 长 度 ， 本 书 中 攻 =5; 
k(x) 有 效 平滑 系数 。 
计算 公式 如 下 
1 ifd(«,)<D 
oe a 0 else C78) 
d 差 值 计算 公式 如 下 
d(x,) =| V(x) - V(x) | (7-9) 


式 中 x — L/2 Sx, Sx + L/2, ASB PF EE D =100, 

图 7-7 为 图 7-3c 灰 度 拉 伸 图 像 中 部 分 区 域 的 垂直 积分 投影 ， 图 中 两 波峰 分 
别 为 左右 车 道 线 ,， 标 记 为 B,、Bi， 这 两 个 波峰 各 自 波 谷 对 应 的 横 坐 标 为 xji、 
las tm. tp, SEEMS KPEBOY L =x xus Lp =%p -äro 

#2 7-1 为 图 7-7 所 对 应 三 条 曲线 的 谷 点 位 置 值 ， 从 中 可 以 看 出 ， 曲 线 平 滑 后 
谷 点 的 位 置 都 发 生 了 变化 ， 谷 点 分 别 向 两 侧 移动 ,这 是 由 于 在 平滑 过 程 中 曲线 
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的 较 大 值 和 较 小 值 共同 参与 了 平滑 计算 ， 曲 线 值 相 差 很 大 ， 从 而 引起 曲线 的 波 
动 ， 然而， 图 7-7e 曲线 的 数值 比 图 7-7b 曲线 的 值 更 接近 图 7-7a 曲线 的 值 ， 说 
明 改进 后 的 平滑 算法 对 数值 的 改变 较 小 ， 曲 线 移动 距离 小 ， 比 传统 平滑 算法 更 
接近 真实 曲线 形状 。 
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图 7-7 垂直 积分 投影 
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c) 本 书 平滑 曲线 
7-7 垂直 积分 投影 (4) 
表 7-1 投影 曲线 坐标 比较 
分 组 Xn Xr Xm XR L, Lpr 
未 平滑 曲线 53 92 566 605 39 39 
原始 平滑 曲线 50 95 562 609 45 47 
改进 平滑 曲线 52 93 565 607 41 42 




















7.2.3 标志 线 特征 点 检测 


7.2.3.1 车 道 标 志 线 投影 特性 

车 道 标志 线 投影 特性 如 下 : 

1) 由 于 车 道 标 志 线 宽度 相同 且 处 在 同一 水 平 线 上 ， 因 此 ， 图 像 中 的 投影 宽 
度 应 该 相近 ， 即 |4.(x*) -A (x) [= |As (x) -As(x) lo 

2) 由 于 标志 线 与 路 面 对 比 度 大 ， 两 峰值 的 投影 像素 值 会 远大 于 两 侧 谷 点 投 
影像 素 值 。 

3) 根据 平行 四 边 形 的 对 称 关系 ， 峰 值 两 侧 谷 点 的 投影 像素 值 应 该 接近 ， 即 
投影 曲线 纵 坐 标 相 同 。 

7.2.3.2 算法 具体 实现 

1) 将 图 像 的 下 半 部 分 水 平分 割 ， 分 割 高 度 h=10。 

2) 在 每 个 分 割 区 域内 分 别 进行 垂直 积分 投影 ， 并 平滑 投影 曲线 。 

3) 在 每 一 个 投影 曲线 中 ， 从 中 间 坐 标 xy 开始 分 别 向 两 侧 寻 找 谷 点 。 第 一 
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个 谷 点 假设 为 $ 点 ， 继 续 向 前 寻找 ， 当 找到 新 的 谷 点 后 ， 将 新 谷 点 定义 为 $ 点 ， 
上 一 谷 点 定义 为 五 点 ， 即 5、 已 点 依次 沿 着 寻找 方向 前 进 。S、 E 点 分 别 对 应 横 
坐标 为 x;、xs， 当 满足 如 下 条 件 时 ,停止 搜 索 ， 定 位 出 车 道 标 志 线 边缘 ， 其 对 
应 谷 点 坐标 即 为 图 7-6 FRAY AL. AL. As. A, (Bin By, Bs. B). 

(D 车 道 标志 : 线 宽度 满足 w eon | < ， 即 两 谷 点 水 平 距离 ， 本 书 
Aw, 220, w, =100。 

D 由 于 两 谷 点 之 间 为 车 道 线 而 之 前 扫描 过 的 区 域 为 车 道 ， 因 此 两 谷 点 之 间 像 
素平 均值 大 于 之 前 扫描 区 域 的 平均 值 ， 即 Meanr(T(xs:xr) ) Mean Vissi 

O 两 谷 点 之 间 最 大 像素 值 V -Max(V(x|xe[x,,x4])). 远大 于 谷 点 处 像 
AB, V... -Max(V(xs) ,V(x5)) >AV， 本 书 AV=500。 

QD 由 于 图 像 透视 关系 ， 谷 点 横 坐 标 xv. ox, 会 在 上 一 分 割 区 域 谷 点 横 坐 标的 
内 侧 ， 如 不 符合 条 件 ， 此 分 割 区 域 定 为 无 效 区 域 ， 此 约束 可 保证 车 道 标志 线 为 
直线 。 

4) 返回 步骤 3) 在 下 一 个 分 割 区 域内 计算 ， 直 至 全 部 区 域 检测 完成 。 

经 过 以 上 4 个 步骤 即 可 取得 一 系列 车 道 标志 线 边缘 处 的 分 散 点 ， 定 义 为 车 

道 标志 线 特 征 点 ， 记 为 L，i=1，2，3，,4， 分 别 表示 从 左 到 右 四 组 特征 点 集合 。 
分 别 对 每 组 点 进行 直线 拟 合 ， 就 可 以 检测 出 整个 车 道 标 志 线 边缘 。 

7.2.3.3 特征 点 调整 
通过 寻找 垂直 积分 投影 曲线 的 谷 点 定位 出 车 道 标志 线 的 特征 点 ， 因 为 积 4 
关系 等 可 能 引入 和 干扰， 使 得 特征 点 会 偏离 真实 位 置 。 因 此 ， 需 要 对 特征 点 LE 
行 调整 。 

调整 规则 : 在 特征 点 水 平方 向 上 的 较 小 区 域内 计算 各 相 邻 像素 灰 度 值 的 梯 
度 ， 梯 度 最 大 为 车 道 标 志 线 与 车 道 的 交界 ， 该 点 为 车 道 线 的 边缘 点 即 为 新 特 






























































征 点 。 
定义 梯度 : 
Ad(x) = |I(i,x) -I(i,x —1) | (7-10) 
式 中 
征 点 行 坐标 ; 
等 正点 令 域 坐标 ,，x € (x, -1/2, x, * 1/2]; 
特征 点 横 坐 标 ; 
/一 一 特征 点 邻 域 大 小 ， 本 书 中 取 1=5。 
特征 点 调整 后 需 满 足 如 下 关系 
x, = ix | I(x) » I(x 21) ,max( Ad) =Ad(x)| (7-11) 


式 中 wi 一 一 调整 后 特征 点 。 
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7.2.4 车 道 标 志 线 拟 合 


上 述 处 理 后 , 已 经 最 大 限度 去 除了 干扰 点 ， 得 到 大 量 的 车 道 标 志 线 特 
征 点 a 线 参数 提取 方法 有 最 小 二 乘法 拟 合 和 Hough 变换 方法 。 
前 者 较 后 者 计算 量 小 ， 本 书 中 特征 点 已 经 精确 定位 出 ， 因 此 不 存在 最 小 二 乘法 
抗 干扰 能 力 差 的 问题 ， 故 采用 最 小 二 乘法 拟 合 车 道 标 志 线 。 
假设 f(x) AVR, g(x) 为 拟 合 函数 ，(x, ,Kx ))(=0,1,…,NV) 为 数据 
点 ， 寻 找 g(x) 满足 下 式 误差 值 最 小 




















E, = È a) -eT (7-12) 
设 * y 之 间 的 函数 关系 由 下 面 的 直线 方程 给 出 
y=ax+b (7-13) 


X (7-13) 中 有 两 个 待定 参数 : a 表示 直线 的 斜率 ; b RAAB. (xs y) 
为 实际 测量 的 组 数据 ，i = 1，2，…，N。 下 面 利用 最 小 二 乘法 把 观测 数据 拟 
合 为 直线 。 

按照 式 (7-12) ÆR, fest (7-14) 达到 最 小 








E = 之 [ = (ax, +b) ]' (7-14) 
当 五 达到 最 小 时 即 为 对 参数 a， 的 最 侍从 村， 根据 式 (7-14) 应 有 
i y, - (ax +b) ]? --2Y (9, — ax Ds =0 (7-15) 
zy Di - (av +b)]? 2-29 (y, -ax =b) =0 (7-16) 
整理 后 得 到 方程 组 
bN+adx,= 之 yi 
(7-17) 


bYXx,*aYx = YXxy, 
解 方程 组 便 可 求 得 直线 参数 a 和 ,的 最 佳 估计 值 ， 即 
N(CZxiyi) - (2%) (Èy) 
UU ND - (Ea? p 
(XX) Ex) - CEx) CExy) 
7 N(Xxj) - (Èx)? 
本 书 中 的 y, 是 由 图 像 所 在 分 区 决定 的 
nalak 
图 像 分 区 序号 ,nj=1, 2, c, ng 














(7-19) 


式 中 ny 
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KPP x; H y, 所 对 应 的 x/。 
7. 2. 5 车 道 BEN 志 线 跟踪 


为 节省 检测 时 间 ， 提 高 抗 干扰 能 力 ， 在 检测 出 车 道 标 志 线 后 ， 需 对 其 进行 
跟踪 。 由 于 视频 图 像 刷 新 很 快 ， 可 采用 建立 感 兴 趣 区 域 ( Region Of Interest, 
ROI) 的 方法 缩小 检测 范围 ， 在 ROI 内 利用 方向 滤波 器 进行 滤波 检测 。 建 立 感 兴 
趣 区 域 时 ， 采 用 与 前 一 帧 中 识别 出 的 车 道 标 识 线 平行 的 方法 ， 如 图 7-8 Bron, 
实 线 表示 前 一 帧 图 像 中 识别 出 的 车 道 标 识 线 ， 虚 线 在 图 像 中 所 包含 区 域 为 感 兴 
BKR, R 和 R 分 别 为 左 、 右 区 域 。 














7.2.5.1 方向 可 调 滤波 器 

1. 方向 可 调 滤波 器 原理 

Ty (ay BY PAE VE BE! FL HH Freeman 和 Adelson 开发 的 一 种 方向 特征 探测 器 。 如 
AERA (ay) 可 以 表示 为 其 自身 旋转 后 的 函数 的 线性 组 合 ， 则 称 f(x,y) 是 可 
调 的。 方向 可 调 滤波 需 是 用 一 组 不 同方 向 上 的 “基本 滤波 器 ”的 线性 组 合 来 实 
现 其 在 任意 方向 上 的 响应 。 假设 f(x,y) 为 滤波 器 的 脉冲 响应 ， 方 向 可 调 滤波 器 
可 表示 为 





f(x,y) = Xf Ga) (7-20) 


式 中 f(x,y) f(x,y) 旋转 9 的 脉冲 响应 
f^ (x, y) — EUER ; 
1 一 一 基本 滤波 器 的 数目 ; 
万 (9) 一 一 第 7 个 差 值 函数 ; 
0 一 第 j 个 基 角 。 
任何 方向 上 的 滤波 器 均 可 用 有 限 个 “基本 滤波 器 ”的 线性 组 合 表 示 。 方 向 
滤波 需 结 构 示 意图 如 图 7-9 所 示 。 


在 极 坐 标 系 中 应 用 方向 可 调 滤波 器 , Ber = Vx -y, op =arg(x,y), W 
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图 7-9 方向 滤波 器 结构 示意 图 
































rp) 的 全 里 时 级 数 表达 式 为 
Kr) = 二 owner (7-21) 


sk (7-20) 应 满足 以 下 理论 5 。 
理论 1 当 且 仅 当 插值 函数 (0) 满足 


1 i 1 oc d NOD 
e? e? eh ois e" k, ( 0) (a m ) 
e Ma oN a iN E (0) 


时 式 (7-20) 可 表达 成 式 (7-21) 的 形式 。 如 果 a, (r) =0， 则 应 该 去 掉 
x (7-22) 左边 的 第 n 行 和 右边 矩阵 的 第 nn 行 。 
理论 2 WT Ask (7-21) 中 函数 fx,p) 的 非 零 系 数 o,(r) 的 个 数 ， 则 式 
(7-20) 中 基 滤 波 器 的 最 小 数目 为 7 了 ， 即 MT, 
理论 3 i f(x,y) -W(r) Pu(x,y) , HP W(r) 是 任意 窗口 函数 ，P、(x,y) 
、y 的 入 次 多 项 式 ， 只 需 (2N +1) Pe eRe A BEA ME f(x,y) = 
en )P.(x,y) 旋转 到 任意 角度 。 如 果 P,a, y) 只 包含 偶 (M) 次 项 ， 则 只 需 
要 (N+1) PÆRE f(x,y) 旋转 到 任意 角度 。 
2. 方向 可 调 滤波 器 设计 
由 于 高 斯 函数 的 任意 阶 导 数 都 是 方向 可 调 的 ， 所 以 本 书 选 用 基于 二 维 高 斯 
人 





















































+y2) 





G(x,y) =e (7-23) 
Cy” AR — 4 SE PRÉC 
B Odette (7-24) 
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2” 只 包含 偶 次 项 的 二 次 多 项 式 ， 依 照 理论 3 可 知 需 要 3 AEK AHE 
(7-22) 对 于 插值 函数 (6) 有 
k, (0) 
1 1 1 1 
| zl 20, pA A k, (8) (7-25) 
e e e e k(O) 
由 于 对 称 和 对 噪声 的 抗 干扰 性 等 原因 ， 通 稼 在 0" ~ 180° 2 ii TE 3E PR A, 
本 书 选用 0 =0°, 6, =60°, 6, ES fa 数 





kí(8) = FL +2cos(2(8 - 8))] (7-26) 
则 根据 式 (7-13), iu 滤波 器 在 任意 方向 上 的 响应 为 
Go = 有 (0)69 +k, (0) GPD* ek, (0) GP^* (7-27) 








通常 基 滤 波 器 的 x -y 是 不 可 分 离 的 ， 导 致 该 算法 非常 耗 时 ， 为 加 快运 算 速 
E, 设计 x -y 可 分 离 的 基 滤 波 器 ， 该 滤波 器 只 包含 最 少 的 数目 ， 本 书 Gs 采用 如 
下 形式 

G3 =k, (0) G,, +h, (0) Gy, +h, (0) G, (7-28) 
其 中 


292) 





G,, =0.9213(a? -1)e 


- (2 +92) 


G,,-21.843xye i 





G,, =0.9213(y -1)£ 2 


k, (8) 2 cos (0) 
k,(0) = -2sin(0) cos( 0) 
k (0) =sin’ (0) 
图 7- 10 显示 了 构成 滤波 需 的 三 个 基 函 数 的 三 维 图 ; 图 7-11 WUE A LEAS [n] 
角度 下 的 三 维 图 。 




















图 7-10 基 函 数 三 维 图 
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135? 150° 180° 
图 7-11 滤波 器 在 不 同 角度 下 的 三 维 图 


7.2.5.2 基于 方向 滤波 器 的 车 道 标志 线 检测 
对 感 兴趣 区 域 进 行 方向 滤波 就 是 把 ROI AVR, 与 G5 HEATER, TEES, 
fa(x,y) 2I (x, y) * G5 (xy) 
= (4G) E, (0) + Lp * G,)R, (0) + Up * G) k (0) 
(7-29) 
其 中 eo 为 基 角 ， 取 值 如 下 
0 = arctan (a; ) (7-30) 
式 中 4 一 一 上 一 帧 图 像 中 车 道 标志 线 拟 合 直线 y = wx b; 的 斜率 ; 
i=1, 2,3, 4， 表 示 从 左 到 右 两 条 车 道 标志 线 的 轮廓 线 序号 。 
根据 式 (7-28) 构造 6,,、G,,、G,. 的 3 x 3 运算 模板 如 下 
0.0449 0.1221 0.0449 
G, =|0.1221 0.3319 0.1221 
0.0449 0.1221 0.0449 
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G,2 0 0 0 
0.25 0 0.25 


0.0449 0. 1221 T 





0.25 0 ^ 


G,- 0.1221 0.3319 0.1221 
0.0449 0.1221 0.0449 
在 感 兴趣 区 域内 进行 方向 滤波 ,效果 如 图 7-12 所 示 ， 可 以 看 出 在 标志 线 感 


兴趣 区 域内 ， 标 志 线 被 检测 出 来 。 








图 7-12 ”ROI 内 方向 滤波 效果 


7.2.5.3 车 道 标志 线 特征 点 确定 
检测 出 车 道 标志 线 后 ， 在 每 个 ROI 内 ， 计 算 水 平方 向 的 梯度 dj,， 定 义 如 下 
d,(i,j) = [fGi,7) -fCj +1) | (7-31) 
XP /一 方向 滤波 后 图 像 ; 

i, J 一 一 分 别 为 ROI 内 行 坐标 和 列 坐标 。 

从 车 道 检测 图 7-12 中 可 以 看 出 ， 水 平 梯度 d, 值 最 大 日 像素 为 白色 的 两 点 为 
车 道 边缘 线 ， 该 点 坐标 为 车 道 标志 线 特 征 点 。 为 加 快运 算 速 度 ， 降 低 运 算 时 间 , 
本 书 每 隔 5 行 计算 一 次 水 平 梯度 来 寻找 特征 点 。 

7.2.5.4 线性 拟 合 

对 于 求 得 的 特征 点 ， 通 过 最 小 二 乘法 进行 线性 拟 合 ， 重 建 车 道 线 ， 拟 合 方 
法 如 前 所 述 。 

7.2.6 实验 分 析 

部 分 结构 化 道路 检测 结果 如 图 7-13 所 示 ， 其 中 图 7-13a、 图 7-13b 为 市 

Pe PEN 图 7-13c、 图 7-13d、 图 7-13e、 图 7-13f 为 高 


速 公路 车 道 检测 效果 。 可 以 看 出 该 检测 方法 能 很 好 地 检测 出 每 条 车 道 线 的 外 
WA 
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图 7-13 ”结构 化 道路 检测 图 


表 7-2 所 示 为 结构 化 道路 的 检测 结果 ， 可 以 看 出 ， 高 速 公路 的 检测 率 高 于 
城市 道路 的 检测 率 ， 主 要 因为 高 速 公路 的 车 道 线 清晰 、 车 距 较 大 ; 而 市 内 道路 
标志 eon 道路 两 侧 存在 建筑 物 和 树木 的 影响 。 总 体 上 看 ， 
由 于 结构 化 道路 路 面 干扰 少 ， 只 检测 路 面 上 的 标志 线 ， 检测 效果 良好 。 造成 检 
测 失败 的 原因 主要 可 归纳 为 以 下 几 种 情况 : 中 道路 标志 线 遭 到 破坏 。@ 车 道中 
间 还 有 其 他 的 标志 线 或 符号 。 包 光照 影响 ， 容 易 在 路 面 形成 镜面 反射 。 由 其 他 
车 辆 影响 。@ 道 路 存在 积 水 或 杂 物 ， 遗 住 车 道 线 ， 无 法 检测 。 


表 7-2 结构 化 道路 检测 结果 











路 型 总 ” 数 E # 数 $t 误 数 正确 率 
高 速 公路 6748 6421 327 95. 2% 
城市 道路 5890 5448 442 92. 596 














7.3 非 结 构 化 道路 检测 


在 检测 非 结构 化 道路 之 前 ， 首 先 根 据 实际 情况 ， 做 出 如 下 假设 : 
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1) 路 面 颜色 相近 ， 像 素 值 相 差 不 大 。 

2) 路 面 颜色 与 周围 颜色 不 同 。 

3) 路 面 图 像 位 于 整 幅 图 像 的 下 半 部 分 。 

4) 路 面 图 像 面 积 在 整 幅 图 像 中 所 占 比 例 较 大 。 

假设 1) 、2) 符合 常识 ; 假设 3) 、4) 与 摄像 机 拍摄 角度 有 关 ， 通 过 调整 可 
以 达到 要 求 ， 因 此 ， 这 些 假设 是 合理 正确 的 。 

本 节 采 用 的 是 基于 道路 特征 的 检测 方法 。 首 先 ， 将 图 像 进行 重 采 样 ， 减 小 
图 像 尺寸 ， 降 低 计算 数据 量 ; 然后 将 图 像 进 行 大 尺度 平滑 ， 过 滤 掉 大 量 的 纹理 
言 息 ， 去 除 纹理 对 检测 算法 的 干扰 ; 接着 在 HSI 空间 中 对 五 分 量 做 直方 图 ， 通 
过 疏 山 法 寻找 直方 图 的 峰 点 ， 并 进行 初始 图 像 分 制 ， 得 到 进行 模糊 C 一 均值 
(FCM) 聚 类 算法 所 需 的 输入 量 ， 并 进行 精确 图 像 分 割 聚 类 ; 然后 将 分 割 后 的 图 
像 进 行 数 学 形态 运算 ， 进 一 步 消除 干扰 ; 最 后 根据 道路 特征 识别 出 路 面 图 像 ， 
并 进行 图 像 恢复 以 消除 由 于 图 像 重 采样 造成 的 定位 误差 。 

7.3.1 图 像 预 处 理 

7.3.1.1 图 像 重 采 样 

由 于 道路 在 图 像 中 占 较 大 比例 且 道路 颜色 较为 均匀 ， 并 且 在 道路 检测 过 程 
中 不 涉及 图 像 纹理 方面 的 计算 ， 因此， 为 简化 计算 量 ,将 图 像 进 行 等 间隔 重新 
采样 ,采样 规则 如 下 
























































I(x' ,y' ,z) = 1(Round[ =), Round (7.2 (7-32) 
式 中 7 一 一 图 像 缩放 因子 ,0 <m < 图像 缩小 ，m > 1 图 像 放 大 ，7 = 1 图像 
尺寸 不 变 ; 
(x'，y’，z) 一 一 重 来 样 后 彩色 图 像 像素 坐标 值 ; 
Round HORE pRB s 


z=1, 2, 3, PEARSE, 

在 图 7-14 中 表示 了 7 20.7, 7 =0.5 时 图 像 与 原始 图 像 (图 7-15a) n=1 
的 瑟 通 道 的 直方 图 (另外 两 通道 类 似 ) ， 该 直方 图 已 通过 高 斯 滤波 ， 可 以 看 出 ， 
图 像 缩 小 后 ， 直 方 图 的 形状 及 像素 强度 分 布 没 有 发 生变 化 ， 这 说 明 图 像 的 性 质 
没有 变化 ， 只 是 像素 点 个 数 减 少 了 ， 因 此 ， 图 像 缩 小 后 不 会 影响 后 续 道 路 的 检 
WW. Al7-15b An =0.5 时 ,图 7-15b 的 重 采样 图 像 。 

7.3.1.2. 图 像 大 尺度 平滑 

由 于 图 像 中 包含 丰富 的 细节 信息 (A), ， 这 对 道路 的 检测 会 造成 相当 大 的 
干扰 ， 甚 至 会 完全 检测 不 出 道路 。 非 结构 化 道路 检测 不 需要 图 像 的 细节 信息 ， 
因此 可 以 去 掉 图 像 细节 ， 平 滑 待 测 图 像 ， 将 其 转换 为 计算 机 容易 识别 理解 的 形 
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7-14 不 同 图 像 尺寸 下 直方 图 


式 〈 图 像 在 感 观 上 会 变 得 模糊 ， 不 细腻 ， 纹 理 不 清楚 ) 。 
非 结构 道路 网 像 的 平滑 与 结构 化 道路 的 平滑 方法 一 致 ， 唯 一 的 差别 是 中 心 像 
素 点 的 邻 域 范围 变 大 了 ， 本 节 中 邻 域 9 取 9 x9 和 矩阵， 具体 算法 在 此 不 再 著述 。 
图 7-15c 为 对 图 7-15b 采用 大 尺度 平滑 后 的 结果 ， 可 以 看 出 图 像 像素 变 得 更 
加 均匀 ， 消 除了 很 多 纹理 信息 。 








图 7-15 道路 图 像 


7.3.2 彩色 图 像 分 割 


7.3.2.1 图 像 空 间 
因为 用 RGB 描述 的 图 像 很 容易 受 光 照 变化 的 影响 ， 并 且 RGB 三 个 分 量 之 间 
有 很 高 的 相关 性 ， 因 此 直接 对 RGB 图 像 进行 图 像 分 割 往往 得 不 到 所 要 求 的 结 
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HSI 彩色 模型 一 方面 接近 人 对 颜色 的 感知 ， 并 受 环境 光照 变化 影响 较 小 ; 另 一 方 
面 ， 彩 色 图 像 的 每 个 均匀 彩色 区 域 都 对 应 一 相对 一 致 的 色调 (及) ， 仅 用 色调 信 
息 即 可 进行 彩色 图 像 分 割 。 

7.3.2.2 图 像 分 类 

1. 直方 图 极 值 点 

直方 图 统计 256 级 灰 度 图 像 的 灰 度 在 某 个 灰 度 级 上 的 像素 个 数 ， 是 一 种 非 
常 重 要 的 常用 图 像 处 理 方法 ， 显 示 了 整 幅 图 像 像素 值 的 分 布 情况 。 通 过 寻找 直 
方 图 的 峰 点 和 谷 点 作为 聚 类 初始 值 进行 图 像 分 割 是 一 种 经 典 的 算法 。 对 于 色调 
(H) 分 量 图 像 直方 图 ， 如 图 7-14 所 示 。 

为 能 准确 找 出 真实 的 极 值 点 ， 去 除 曲线 中 的 干扰 ， 用 高 斯 平滑 滤波 器 对 直 
方 图 曲线 平滑 ， 平 滑 公式 如 下 

H(x) = H(x) * g(%,0,) 






































= [nos - uso) du (7-33) 
1 cles 





式 中 H(x) 一 一 原始 直方 图 ; 








H(x) 平滑 后 直方 图 ; 
0 一 一 标准 协 方差 o, 越 大 直方 图 越 平滑 。 





通过 候 山 法 寻找 曲线 上 所 有 的 峰 点 和 谷 点 。 扑 山 法 是 一 种 属于 人 工 智 能 的 
局 部 择优 算法 ， 是 对 深度 优先 搜索 算法 的 改进 ， 它 利用 反馈 信息 生成 解 的 决策 
寻找 极点 。 扑 山 法 的 计算 步 又 为 从 当前 点 开始 ， 与 邻 域 点 的 值 进行 比较 ， 若 
当前 点 的 值 最 大 ， 那 么 返回 当前 点 ， 作 为 最 大 值 〈 即 山峰 最 高 点 ) ; 反之 就 用 最 























高 的 邻 域 点 来 蔡 换 当 前 点 ， 实 现 向 山峰 最 高 处 攀 爬 的 目的 ， 如 此 循环 直到 达到 
最 高 点 。 对 于 寻找 谷底 算法 正好 相反 。 
峰 点 满足 如 下 条 件 
P. - (i, (H(i) |H(i) > H(i -1)& H(i) > H(i +1))) (7-34) 
谷 点 满足 如 下 条 件 
V. 2 (i, (H(i) |H(i) «H(i -1)& H(i) <H(i+1))) (7-35) 
式 中 P 一 一 峰 点 ， 
VV 一 一 合 点 


i=0, 1, =, 255 为 像素 值 范 围 。 

的 山 算法 容易 陷于 局 部 最 优 ， 根 据 非 结构 化 道路 的 实际 情况 ， 做 如 下 约束 。 

1) 寻找 到 的 各 个 极 值 点 间 横 坐标 (像素 值 ) 之 差 应 大 于 一 定 国 值 ， 即 两 个 
极 值 点 的 颜色 不 同 。 








=> 134 


nf, 


第 7 章 车 道 检 测 研究 v 
2) 极 值 点 对 应 像素 数量 需 超过 一 定 值 ， 即 该 点 颜色 对 应 的 像素 数 较 多 。 

在 道路 检测 中 ， 假 定 道路 在 图 像 中 占 较 大 比例 ， 因 此 只 需 取 前 w 个 峰 点 即 
其 中 必定 包 售 道 路 像素 值 。 在 此 取 NW =5， 若 实际 峰值 数 小 于 N， 则 以 实际 


数目 为 准 。 


2. 区 域 初始 化 
通过 扑 山 法 得 到 图 像 直 方 图 的 主要 峰 点 和 舍 点 。 定 义 P 为 主要 峰 点 的 像素 





强度 值 


式 中 i 


P = (i,,i,,°°,i,) S36) 
峰 点 像素 强度 值 ; 
峰 点 个 数 ，c 达 No。 
经 息 山 算法 将 直方 图 分 割 分 成 多 个 区 域 , 但 是 仅 利用 颜色 信息 进行 分 割 ， 








[^ 











并 不 能 保证 相同 颜色 的 像素 都 属于 同一 个 区 域 ， 因 此 经 过 颜色 分 类 的 像素 还 需 
要 结合 空间 信息 才能 够 形成 有 意义 的 区 域 。 具 体 算法 如 下 : 


1) 形成 所 有 可 能 的 艇 质心 V。 
2) 将 图 像 点 归 到 最 近 的 簇 质心 ， 并 在 每 个 簇 质心 中 形成 像素 序列 X,。 
3) 去 掉 像 素 个 数 小 于 U WTA SEED (QU 取 图 像 总 像素 数 的 20%，U = 


2096 m xn), 


4) 重新 分 配 像素 到 最 近 的 艇 质心 类 别 中 。 

5) 通过 像素 序列 X, 更 新 对 应 的 艇 质心 点 v, s 

3. 区 域 合并 

经 过 区 域 初始 化 后 ， 得 到 了 一 个 简单 的 区 域 分 割 ， 然 而 某 些 区域 颜 色 非 常 








接近 ,可 以 合并 到 一 起 ， 以 便 简 化 艇 质心 。 通 过 基于 颜色 的 相似 性 进行 合并 ， 
最 简单 的 颜色 相似 性 算法 为 计算 欧 几 里 得 距离 ,假设 V=(v,，v,，…，v。) AR 
质心 向 量 ，C 为 簇 质心 个 数 。 合 并 算法 如 下 .、 


1) 设 定 最 大 欧 几 里 得 距离 阀 值 刀 .为 正 整数 值 ，D. =10。 
2) 通过 下 式 ， 计算 欧 几 里 得 距离 D 
D(c,,¢,) = VR-R) + (G,-G,)* + (B,-B,)° (7-37) 





tH ls; 


k<C; 

j*k; 

R, G, B——4) WS] = 1 58 RR TH. o 

3) 将 满足 D(c; c.) < 了 .的 质心 合并 。 
4) 更 新 复 质 心 ， 返 回 步骤 2) ， 直 至 条 件 3) 不 满足 为 止 ， 完 成 合并 。 
7.3.2.3 基于 模糊 C 均值 聚 类 的 道路 图 像 分 割 

Bezdek!” 7E 20 世纪 70 年 代 提出 了 模糊 C 均值 聚 类 (FCM) 算法 ， 该 算法 
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用 值 在 [0，1] 区 间 的 隶属 度 判 别 每 个 样本 点 属于 茶 个 聚 类 的 程度 ， 同 一 样本 
属于 各 类 别 的 隶属 度 之 和 为 1。 把 nn 个 样本 向 量 和 分 为 C 个 模糊 组 ， 并 求 每 组 的 
坚 类 中 心 ， 使 得 非 相 似 性 指标 中 的 价值 函数 达到 最 小 。 

Dunn ”依据 Ruspini 定义 的 集合 模糊 划分 概念 ， 给 出 FCM 算法 如 下 


minJ, (U,V;X) = b» S3 (7-38) 
i=l k=l 


式 中 ur HEA XJ SS k TRARY TELE ; 
d, = lla, -0; lla, E i TRAD 9 k MER JR] RS XUL RISE BS o 
X (7-38) 中 参数 满足 








0< Yu, <ml<i<e 
Bezdek st: (7-38) 推广 到 更 一 般 情 形 ， 给 出 了 如 下 表达 式 

minJ (U,V;X) = Y Sun (7-39) 
X (7-39) 中 参数 满足 


henti 1<k<n 





e [0, lJ,lsisc,lSkSn 
0 < ye <n,l Sis 
XP ome[l,e ] 一 一 加 权 系 数 ; 
J 一 一 类 内 误差 的 加 权 平 方 和 目标 函数 。 
FCM 算法 通过 迭代 运算 达到 目标 冰 数 J, 的 最 小 化 ， 此 时 得 到 的 一 个 最 优 
模糊 C 划分 U*=[ui] 








1 
Ug. = an, an QTE ae ( yes (7-40) 
ik 
J =1 d;, 
其 中 
d, = \||x,-2,l|4,l Sisc,lsk<sn 
Ee Y, 
v 1 i<e 


Lowy 
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FCM Te : 

1) Wb. BETH C, XETVIEVR 28 e >0, 算法 的 最 大 迭代 次 数 
J uus 初始 聚 类 中 心 V= (v0, Vy, s 9o)o 

2) iz1, 2, +, T. 

Q 计算 (EIE eni Mme S iR | Xy — UU, | Ao 如 果 d; , -0, 则 Uy, =1, 且 
对 jz#i, uy, =1, 1<isc, 1 «kzn; 


如 果 d; , >0, 则 


@ 计算 V, = (Ui acs »U5 441 US, tug) 
其 中 


@ 判断 ， 如 果 | V,-VI = > lowe -o, se, WATER, 

(4) 否则 进行 下 一 个 i。 

图 7-16 为 部 分 非 结构 化 道路 彩色 图 像 分 块 结 果 ， 可 以 看 出 ，FCM 方法 能 按 
照 图 像 颜色 不 同 将 图 像 分 块 ， 道 路 区 域 被 完整 地 分 离 出 来 。 

7.3.2.4 图 像 形态 运算 

l. 开启 、 闭合 运算 

开启 运算 通常 可 以 平滑 图 像 轮 廊 ， 去 掉 轮 廓 上 的 毛刺 ， 截 断 狭 窄 的 山谷 ，; 
而 闭合 运算 可 以 去 除 区 域 中 的 小 孔 ， 填 平 狭窄 的 断裂 ， 细 长 的 沟 蜜 以 及 轮廓 
的 缺口 。 通 过 FCM 分 类 出 的 各 图 像 块 ， 由 于 外 界 条 件 变 化 及 道路 的 不 均匀 性 
导致 检测 结果 中 夹杂 着 较 多 非 道 路 点 ， 边 缘 毛 刺 较 多 ， 内 部 存在 小 孔 〈 如 
图 7-16a'、 图 7-16c'、 图 7-16d') ， 因 此 ， AAA 本 书 采用 
3 x3 方形 结构 元 先 对 图 像 进行 开启 运算 ,然后 再 进行 闭合 运算 去 掉 干扰 点 ， 
平滑 图 像 。 

2. 像素 连通 性 计算 

开启 、 闭 合 运算 结束 后 ， 道 路 区 域 能 较 好 的 检测 出 来 ， 然 而 除 此 之 外 还 会 
有 些 较 大 的 干扰 点 ， 开 启 、 闭 合 运算 不 能 消除 。 通 过 计算 像素 的 连通 性 ， 利 用 
填充 算法 可 去 掉 干扰 点 。 本 书 选用 八 连通 类 型 进行 检测 ， 与 标准 区 域 不 在 一 个 
连通 区 域 的 点 记 为 干扰 点 。 
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d) : e) 


f") 


图 7-16 颜色 分 割 效果 图 


7.3.3 纹理 特征 分 析 








将 彩色 道路 图 像 进行 分 割 后 ， 可 以 准确 地 分 割 出 路 面 图 像 ， 然 而 并 不 能 判 
定 哪 块 分 割 区 域 为 路 面 ， 在 此 根据 路 面 图 像 的 假设 条 件 及 各 分 割 块 的 特性 进行 
如 下 判断 。 

1) 计算 分 割 块 标准 差 o,， 标 准 差 值 较 小 的 是 道路 的 可 能 性 较 大 。 

2) 计算 分 割 块 的 质心 MM， 质 心 处 在 整 幅 图 像 的 中 间 偏 下 位 置 是 路 面 的 可 能 
性 较 大 。 

3) 计算 分 割 抉 的 面积 S$， 面 积 较 大 的 是 路 面 图 像 的 可 能 性 较 大 。 
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综合 以 上 3 条 规则 ， 分 析 各 图 像 块 ， 找 出 路 面 图 像 。 
图 7-16a' 中 图 像 块 特 性 如 下 表 7-3 所 示 : 


表 7-3 图 像 块 特 性 





序号 REZ 0,(R, G, B) 质心 M 面积 S 
1 (0.2941, 0. 3001, 0.4432) (60, 197) 38067 
2 (0.1200, 0. 1103, 0. 1168) (197, 201) 79571 
3 (0.8404, 0.8833, 1.1289) (11, 189) 1938 








序号 与 图 像 块 对 应 关系 : 1 号 对 应 中 间 黑 色 区 域 ; 2 号 对 应 下 方 道路 区 域 ; 
3 号 对 应 中 间 上 方 白 色 区 域 。 从 表 7-3 中 可 以 看 出 道路 区 域 的 标准 差 小 于 其 他 两 
块 区 域 的 标准 差 ， 道 路 图 像 块 质心 位 置 符合 实际 情况 ， 处 于 中 间 偏 下 ; 道路 面 
积 较 大 ， 符 合 假设 。 因 此 ， 完 全 可 以 利用 这 三 个 特性 ， 检 测 出 道路 区 域 ， 为 提 
高 准确 性 ， 需 综合 考虑 。 


7.3.4 图 像 恢 复 


7.3.4.1 图 像 重 采 样 误 差分 析 

原始 图 像 大 小 为 m xn， 重 采样 后 图 像 大 小 为 nm x qn, £121 18] EHI mm MR 
素 点 代 蔡 原来 的 m 个 像素 点 ; 列 方向 上 用 mn 个 像素 点 代替 原来 的 n 个 像素 点 。 
采样 后 丢失 大 量 信息 ， 每 个 像素 代替 原来 的 m/nm (nnm) 个 像素 点 ， 也 就 是 
在 图 像 恢复 后 ,会 有 1/n 个 像素 点 的 误差 (0 <n <1)。 

7.3.4.2 ”图像 恢复 

由 于 图 像 重 采样 ， 将 图 像 缩小 后 图 像 会 丢失 部 分 信息 ， 这 样 就 给 道路 最 终 
的 检测 、 定 位 带 来 一 定 的 误差 ， 为 消除 误差 ， 将 图 像 恢复 。 具 体 规则 如 下 : 

1) 取 原 采样 率 的 倒数 为 新 采样 率 m' =1/m， 将 图 像 恢复 。 

2) 以 恢复 后 的 道路 轮廓 点 为 中 心 像素 点 ， 在 2/7 x2/9 邻 域 内 ， 计 算 原 图 
像 中 像素 值 的 欧 几 里 得 距离 ， 距 离 最 大 且 像 素 点 与 新 轮廓 点 满足 八 邻 域 规则 的 
点 为 下 一 个 新 的 轮廓 点 ， 遍 历 所 有 轮廓 点 ， 得 到 新 轮廓 。 


7.3.5 边缘 拟 合 


道路 边缘 拟 合 方法 与 结构 化 道路 的 拟 合 方法 完全 相同 ， 在 此 不 再 缆 述 。 
图 7-17 为 部 分 非 结 构 化 道路 拟 合 直线 实例 。 


7.3.6 实验 分 析 


本 书 对 沙土 路 、 水 泥 路 、 柏 油 路 等 路 型 进行 了 实际 测试 ， 部 分 道路 的 检测 
效果 如 图 7-17 所 示 ， 实 验 结果 如 表 7-4 所 示 。 
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图 7-17 道路 拟 合 曲 线 


从 表 7-4 中 可 以 看 出 ， 沙 土路 的 检测 率 最 低 ， 水 泥 路 次 之 ， 相 油 路 最 高 。 
沙土 路 检测 失败 的 原因 有 : QD 道路 与 周围 环境 颜色 相近 ， 不易 区 分 ; @ 道 路 中 
存在 水 迹 等 影响 ; @ 道 路 不 均匀 ， 色 彩 不 统一 ; 加 光照 影响 ， 强 光照 射 ， 图 像 
超出 显示 范围 ， 无 法 提供 有 效 色 彩信 息 ; 名 道路 轮廓 极 不 规则 ， 无 法 拟 合 出 有 
MHA; @@ 树 荫 影 响 ， 路 面 出 现 斑驳 的 阴影 ; ORAE, 

表 7-4 非 结 构 化 道路 检测 结果 

















水 泥 路 和 柏油 路 由 于 比 沙土 路 具有 更 好 的 结构 特征 ， 路 面 比 沙土 路 均匀 ， 
因此 检测 率 比 沙土 路 高 ， 之 所 以 柏油 路 的 检测 率 比 水 泥 路 的 高 ， 是 因为 柏油 路 
的 色彩 与 环境 的 对 比 更 加 明显 。 其 检测 失败 的 原因 主要 有 以 下 几 点 : 中 道路 中 
存在 水 迹 等 影响 ;@) 道 路 破损 严重 ， 路 面 整体 色彩 极 不 均匀 ; 名 光照 影响 ， 强 
光照 射 ， 图 像 超出 显示 范围 ， 无 法 提供 有 效 色彩 信息 ; ORTEN, 








7.4 和 车辆 偏离 分 析 


7.4.1 车 辆 轨迹 模型 
由 于 前 面 已 经 假设 车 辆 行驶 前 方 较 近 区 域 为 直线 车 道 ， 因 此 车 辆 行驶 轨迹 
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有 以 下 几 种 情况 ， 如 图 7-18 所 示 。 

图 7-18a 为 车 辆 在 车 道 线 中 间 直 线 行驶 ， 这 是 一 种 理想 情况 ， 现 实生 活 中 由 
于 驾驶 员 驾 驶 习惯 决定 车 辆 在 中 间 线 附近 直线 行驶 ， 如 图 7-18b、 图 7-18c 所 
示 ， 但 由 于 安全 等 原因 ， 不 会 特别 靠近 左右 车 道 线 ; 而 图 7-18d、 图 7- 18e 为 车 
辆 和 斜 线 行驶 即 车 辆 行驶 方向 与 车 道 线 方向 不 同 ， 之 间 存 在 夹 角 ， 这 种 情况 除 停 
车 外 大 多 是 由 于 驾驶 员 对 车 辆 失去 有 效 控制 而 引起 的 ， 极 易 发 生 交 通 事故 。 


























FH 1 £3 Bi 
c3 c c Cj 
EH 1 pa po 
HEE i Lj 

a) b) c) e) 





图 7-18 车 辆 行驶 轨迹 


可 以 得 出 车 辆 行驶 轨迹 不 安全 的 情况 : 

1) 车 辆 虽 沿 车 道 线 方 向 直线 行驶 ， 但 车 辆 严重 偏离 理想 轨迹 ， 离 车 道 线 太 
近 甚 至 于 压 线 行驶 。 

2) 车 辆 沿 车 道 线 斜 线 方向 行驶 ， 按 此 方向 行驶 即将 驶 出 车 道 。 

本 书 将 对 以 上 这 两 种 情况 进行 检测 ， 对 于 第 一 种 情况 ， 采 用 车 道 偏离 率 来 
表示 车 辆 当前 偏离 车 道 的 程度 ， 对 于 第 二 种 情况 ， 采 用 车 道 偏离 量变 化 率 来 反 
映 车 辆 在 垂直 车 道 线 方向 上 的 速度 。 


7.4.2 车 道 偏 离 率 


车 道 偏离 率 E 反映 了 车 辆 偏离 车 道 的 程度 ， 其 计算 公式 如 下 
& =d/d, 


Eyo 
式 中 d d, 摄像 机 距 左右 车 道 线 的 垂直 距离 ，d +d, =D; 
D— FÉ 98 RE ; 
0;、04 一 一 分 别 表 示 左 、 右 车 道 线 的 倾角 (An 7-19 所 示 ) 。 








(7-41) 
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it; 驾驶 员 视 觉 分 散 特征 识别 及 检测 方法 


0,. 0, TEX, (7-42) 求解 
0! if 0,20 
- l (1-42) 
0 «m if0 «0 


式 中 Ø! =arctan((a,)/2); 





示 左 右 车 道 ; 
道 线 的 平均 斜率 ， a, = (a, *a4)72, an = (a, +a,)/2; 
分 别 为 左 、 右 车 道 线 边缘 拟 合 直线 的 斜率 。 











Q4. Q4, Q4. a 














图 7-19 车 道 示意 图 
X (7-41) 需 满足 的 条 件 为 车 辆 沿 车 道 线 方向 直线 行驶 ， 但 当 驾 驶 员 失 去 





了 对 和 车辆 的 有 效 控制 ， 车 辆 在 车 道中 沿 斜 线 方向 行驶 时 ， 根 据 文 献 [26] 的 证 
明 ， 车 辆 的 车 道 偏离 率 同 样 可 以 用 该 公式 近似 。 

车 辆 行驶 时 光 轴 与 车 道 线 倾角 变化 情况 如 图 7-20 所 示 ， 车 道 偏离 率 & 及 车 
道 线 倾角 具有 以 下 几 种 变化 规律 









ln 
Or 


d) 偏 出 左 车 道 线 e) 偏 出 右 车 道 线 
图 7-20 ”车辆 偏离 示意 图 


1) 当 车 辆 靠近 左 车 道 线 行驶 时 (图 7-20a tas); 0, ZKH. 0, 6 (0,7/2)， 
0, ZKH 0,e (7/2,7)， 此 时 , EE 变 小 Ee (0,1)。 
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2) 当 车 辆 靠近 车 道中 心 行 驶 时 (图 7-20b 所 示 ): 0, +0n=7, E~1, 

3) 当 车 辆 靠近 右 车 道 时 (图 7-20c 所 示 ): 0, 变 小 且 90, e (0,0/2) , 0, Æ 
/JNH.0,e(m/2,7), KB], €BKEE(1,0), 

4) 当 车 辆 偏 出 左 车 道 线 时 (图 7-20d 所 示 ): 0,6 (7/2,7), 06,6 (072, 
m), 0 €«0,,£e( -1,0)。 

5) 当 车 辆 偏 出 右 车 道 线 时 (图 7-20e 所 示 ): 0, e (0,7/2), 0, € (0,07 
2), 0, «0,, éc(-o,-1), 

车 道 偏 离 率 与 车 道 偏离 位 置 之 间 的 关系 如 图 7-21 Brzn 











O BERSO 





二 








图 7-21 & 取 值 范围 示意 图 


从 图 7-21 中 看 出 , é 值 与 车 辆 位 置 关 系 一 一 对 应 ,，& 的 大 小 可 以 反映 出 车 辆 
的 偏离 情况 ， 因 此 ， 可 将 作为 衡量 车 道 偏离 程度 的 一 个 重要 依据 。 


7.4.3 车 道 偏 离 量变 化 率 


对 于 车 辆 沿 斜 线 方向 行驶 的 情况 ， 可 以 通过 车 道 偏离 量变 化 率 Z 来 判断 ， 
SC 值 较 大 则 说 明和 车 辆 正在 迅速 的 靠近 (远离 ) 某 车 道 线 ， 发 生 了 车辆 沿 斜 线 
行驶 的 情况 。 定义 如 下 


Le 





ld (1) =d,(¢-1) 
D (7-43) 
| | 1 HOP PERI 
2lé(t) +1 é(t-1) «1 
式 中 d, (0 一 一 车 辆 在 当前 时 刻 的 偏离 距离 ; 
di-1T) 一 一 车 辆 在 上 一 时 刻 的 偏离 距离 ; 
7 一 一 车 道 宽度 ; 
é(1) 一 一 当前 时 刻 的 车 道 偏 离 率 ; 
E(t -1) 一 一 上 一 时 刻 的 车 道 偏 离 率 ，; 
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v 驾驶 员 视觉 分 散 特征 识别 及 检测 方法 


t 一 一 当前 时 间 变 量 
7.4.4 实验 分 析 


图 7-22 为 车 道 偏 离 率 & 随 视频 序列 严 的 变化 曲线 图 ， 图 7-22a 为 车 辆 沿 车 
道中 心 正常 驾驶 时 的 曲线 ， 可 以 看 出 值 在 1 附近 波动 ， 波 动量 不 大 ; 图 7-22b 
为 车 辆 按 “S” 形 轨迹 前 进 ， 并 在 行进 过 程 中 ,偏离 出 左右 车 道 ， 图 7-22c 为 车 
辆 从 左 车 道 线 外 进入 车 道 后 又 偏离 出 右 车 道 线 的 偏离 率 变化 曲线 ; 图 7-22d 为 
车 辆 从 右 车 道 线 外 进入 车 道 后 又 偏离 出 左 车 道 线 的 偏离 率 变化 曲线 。 可 以 看 出 
值 随 车 辆 位 置 的 不 同 出 现 较 大 的 变化 ,，& 值 完全 可 以 作为 一 个 评价 车 辆 当前 位 置 
的 指标 。 







































































图 7-22 £ 变化 曲线 


图 7-23 为 图 7-22 对 应 车 辆 行驶 轨迹 的 车 道 偏离 量变 化 率 * 的 曲线 图 ， 从 中 
可 以 看 出 在 偏离 率 变化 剧烈 的 位 置 ,《 对 应 值 就 大 ， 说 明 该 处 车 辆 行驶 方向 与 
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图 7-23 《变化 曲线 


车 道 线 方向 并 不 平行 ,《 表征 了 车 辆 的 行驶 状态 。 





7.5 Ap 


本 章 主 要 研究 了 结构 化 道路 及 非 结构 化 道路 的 检测 和 和 车辆 行驶 状态 判断 等 
问题 ， 具 体 总 结 如 下 : 

1) 结构 化 道路 检测 : 在 检测 初期 ， 对 道路 图 像 实 施 平滑 及 灰 度 拉 伸 预 处 
理 ， 以 均匀 局 部 区 域 像素 值 ， 并 加 大 车 道 线 与 道路 的 对 比 度 。 由 于 结构 化 道路 
车 道 标 志 线 明显 ， 根 据 道路 视频 图 像 的 特点 ,采用 图 像 分 块 投影 的 方法 检测 车 
道 线 边缘 ; 对 检测 出 的 边缘 点 再 次 进行 微调 ， 提 高 检测 精度 ; 然后 ， 采 用 最 小 
二 乘法 进行 线性 拟 合 ， 得 到 车 道 边 缘 线 。 该 方法 的 优点 是 抗 干扰 能 力 强 ， 不 易 
陷入 局 部 最 优 。 

2) 非 结 构 化 道路 检测 : 非 结构 化 道路 的 复杂 性 决定 了 图 像 中 的 像素 值 波动 
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4 驾驶 员 视觉 分 散 特征 识别 及 检测 广 法 0000000000000 
较 大 ， 同 时 对 道路 的 检测 不 需要 丰富 的 纹理 信息 ， 因 此 ， 对 图 像 进行 了 大 尺度 
平滑 ， 尽 量 减 少 纹理 对 检测 的 干扰 ; 然后 ， 采 用 FCM 方法 将 彩色 道路 图 像 分 块 ， 
道路 区 域 被 完整 、 独 立地 分 为 一 个 图 像 块 ; 根据 道路 图 像 特点 分 析 各 图 像 块 判 
斯 出 道路 区 域 ; 最 后 对 道路 边缘 进行 线性 拟 合 。 本 节 还 研究 了 图 像 尺寸 对 检测 
结果 的 影响 。 

3) 车 道 偏 离 计 算 分 析 : 本 书 采用 车 道 偏离 率 和 车 道 偏离 量变 化 率 来 表示 车 
辆 的 行驶 轨迹 。 车 道 偏离 率 反 映 了 车 辆 当前 的 行驶 位 置 ， 车 道 偏离 量变 化 率 反 
映 了 车 辆 偏离 量 的 变化 情况 ， 根 据 此 值 可 以 预测 出 车 辆 的 行驶 方向 。 
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第 
| 基于 信息 融合 的 驾驶 员 疲劳 检测 8 > 





8.1 概述 





营 驶 员 视 觉 分 散 的 一 种 极端 情况 是 各 强 员 出 现 疲 劳 ( 睦 睡 ) 状态 。 此 时 ， 
驾驶 员 的 眼睛 出 现 闭合 现象 ， 不 能 很 好 地 检测 到 视线 方向 。 针 对 此 问题 我 们 提 
出 对 多 驶 员 疲 务 检 测 进 行 研究 。 只 用 一 种 方法 或 者 一 个 标准 来 判断 罗 驶 员 的 疲 

劳 状态 ， BR 首先 ， 单一 传感器 获取 的 信息 量 不 足 ， 由 于 信息 量 
太 少 而 不 能 全 面 表 达 出 驾 RRE TE: 其 次 ， 单 一 的 疲劳 检测 手段 极 易 受 
ARR TH. 检测 结果 也 会 受到 影响 ， 系 统 鲁 棒 性 差 。 为 殉 服 以 上 缺点 ， 
本 章 将 用 多 传感器 测量 多 个 特征 ， 采 用 不 同 的 判断 标准 进行 疲劳 检测 ， 最 后 将 
检测 信息 进行 融合 得 出 判断 结果 。 


























8. 2 信息 融合 


言 息 融 合 是 人 类 或 其 他 逻辑 系统 中 常见 的 功能 ， 人 类 能 把 来 自 人 体 各 个 传 
感 器 (如 眼 、 耳 、 锚 、 四 有 歧 等 ) 的 信息 (如 视觉 、 听觉 、 味觉 、 和 触觉 等 ) 组 合 
起 来 ， 并 使 用 先 验 知识 去 估计 、 理 解 周围 环境 ， 最终 做 出 相应 判断 。 由 于 社会 
的 不 断 进 步 ， 使 得 信息 具有 表现 形式 的 多 样 性 ， 信息 \ 关 系 的 复杂 性 ， 信 息 数 量 
的 巨大 性 ， 以 及 要 求 信息 处 理 的 实时 性 等 特点 ， 这 些 都 已 超出 人 脑 的 综合 处 理 
能 力 。 因 此 ， 从 20 世纪 70 年 代 起 ， 多 传 感 右 信息 融合 技术 (Multi-Sensor Data 
Fusion, MSDF) 作为 一 门 新 兴 的 学 科 便 迅速 地 发 展 起 来 。 多 信息 融合 的 定义 可 
概括 为 : 将 来 自 多 个 传感器 或 多 源 的 信息 进行 综合 处 理 分 析 ， 以 便 得 到 更 为 准 
确 、 可 靠 的 结论 ?1 。 

信息 融合 技术 主要 具有 以 下 优点 : 

1) 信息 融合 可 改善 检测 性 能 ， 增 加 系统 可 信和 度 。 通 过 对 多 种 测量 的 有 效 融 
合 ， 提 高 了 检测 的 有 效 性 ， 降 低 了 事件 的 不 确定 性 。 

2) 信息 融合 可 加 强 系统 的 生存 能 力 。 多 传感器 的 测量 信息 之 间 存 在 一 定 的 
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元 余 度 ， 在 有 若干 传感器 损坏 或 受到 干扰 而 不 能 正常 工作 时 ， 总 会 存在 一 部 分 
传感器 可 以 提供 信息 ,使 系统 能 够 继续 正常 运行 。 

3) 信息 融合 扩大 了 时 间 和 空间 的 覆盖 范围 。 多 传感器 可 以 在 不 同时 间 
从 多 方面 对 目标 进行 检测 ， 扩 大 了 时 空 覆 盖 范 围 ， 进 而 增加 了 系统 的 检测 
能 力 o 

信息 融合 按照 不 同 标准 具有 不 同 的 分 类 方法 ， 例 如 按照 融合 技术 、 融 合算 
法 、 融 合 结构 分 类 等 六 。 

信息 融合 由 于 是 对 多 信息 的 综合 处 理 而 使 其 具有 本 质 上 的 复杂 性 。 根 据 传 
统 的 算法 理论 ， 近 年 来 开发 出 一 些 新 的 基于 统计 推断 、 人 工 智 能 以 及 信息 论 的 
新 方法 5 ， 其 主要 内 容 介绍 如 下 。 

1. 信号 处 理 与 估计 理论 方法 

该 方法 主要 包括 小 波 变 换 、 加 权 平 均 、 卡 尔 曼 滤波 、 最 小 二 乘法 等 线性 佑 
计 理 论 ， 以 及 扩展 卡尔 曼 滤 波 、 高 斯 滤波 等 非 线 性 估计 理论 等 “。 近 年 来 ， 粒 
子 滤波 中 和 马尔 科 夫 链 '"" 等 非 线性 估计 技术 已 受到 越 来 越 多 学 者 的 重视 。 期 望 
极 大 化 算法 "为 求解 在 观测 数据 不 完整 情况 下 的 参数 估计 与 融合 问题 ， 提 供 了 
新 的 思路 。 通 过 建立 一 系列 的 参数 优化 指标 ， 应 用 最 优化 方法 获得 参数 的 最 优 
估计 ， 代表 算法 主要 有 极 小 化 风险 法 "和 极 小 化 能 量 法 '"|。 

2. 信息 论 方法 

和 耸 方法 通过 运用 优化 信息 度量 的 方法 融合 多 源 数据 ， 代 表 算 法 主要 有 
炉 方 法 和 最 小 描述 长 度 法 ]。 

3. 人 工 智能 方法 

人 工 智能 方法 主要 包括 遗传 算法 、 模 糊 逻 辑 、 神 经 网 络 、 人 逻辑 模板 法 、 品 
质 因数 、 专 家 系统 以 及 基于 规则 的 推理 等 ， 这 些 方法 已 在 信息 融合 领域 中 取得 
THEM MER 。 

4. 决策 论 方法 

该 方法 党 在 高 级 别 的 决策 融合 中 应 用 。 文 献 [17] 借助 决策 论 方法 融合 可 
见 光 、 红 外 以 及 雷达 数据 用 于 报警 分 析 。 

5. 统计 推断 方法 

Wide eee 贝 叶 斯 推理 、 证 据 推理 、 经 典 推理 以 
RMF ALE 。 

6. 几何 方法 

几何 方法 是 根据 环境 以 及 传感器 模型 的 几何 属性 来 实现 多 传感器 的 信息 融 
Fo SCR [19] 通过 对 不 确定 椭圆 球体 积 进行 极 小 化 的 几何 方法 实现 多 信息 
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8.3 基于 粗糙 集 理 论 的 驾驶 员 疲 劳 检 测 


8.3.1 粗糙 集 理论 





粗糙 集 (Rough Set, RS) 理论 是 由 波兰 数学 家 Z. Pawlak 在 20 世纪 80 年 
代 初 提出 的 ， 是 处 理 不 确定 和 模糊 知识 的 数学 工具 | 。 

8.3.1.1 知识 与 决策 系统 

知识 是 对 对 象 的 一 个 分 类 ， 为 了 处 理 知识 而 采用 决策 系统 来 标识 知识 。 决 
策 系统 是 由 对 象 组 成 的 ， 对 象 的 属性 描述 了 其 具有 的 信息 。 决 策 系 统 $ 可 表 
示 为 








S=(U,C,D,V,f) (8-1) 
式 中 U 一 一 论 域 ， 是 对 象 的 有 限 集合 ，U = x uml 

一 一 条 件 属 性 值 ; 

7 一 一 决策 属性 值 ; 





R=CUD， 是 属性 集合 ,CD = (9; 

V= U,V,， 是 属性 值 的 集合 ，V, 表示 属性 re R 的 值 域 ; 

f: Ux RSV, df ER, WU 中 各 对 象 * 的 属性 指定 唯一 值 。 

可 用 表格 法 来 表示 知识 ， 行 表示 对 象 ， 列 表示 属性 ， 一 个 表 可 作为 一 个 知 
识 库 ， 知 识 库 和 知识 表达 系统 间 一 一 对 应 。 决 策 表 定义 如 下 : 

S=(U,A) 表示 形式 化 的 知识 表达 系统 ， 且 C 为 条 件 属 性 CC4，D 为 决策 
属性 DC4， 决 策 表 7=(V,4,C,D) 简称 为 CD RRR, W X i U 中 根据 条 件 属 
性 C 定 义 的 分 类 , Y 是 U 中 根据 决策 属性 D 定义 的 分 类 ， 对 每 个 x,;，y; 定义 如 
下 函数 


























d,: Desc(x;) ^Desy(y;): x; y; 76 Ø (8-2) 
式 中 ”4d 一 一 决策 表 7 中 的 决策 规则 ，; 
AR ET xc y, d,/C =d,/C 时 ， 有 dMD =d,/D， 则 称 决策 规则 是 协调 
的 ， 否 则 为 不 协调 的 。 
8.3.1.2 粗糙 集 
4 XCU, R 为 U 上 一 等 价 (不 可 分 辨 ) RA, T4 X HEAL R HORI, PIOS X 
是 尺 可 定义 的 ， 否则 X 是 有 R 不 可 定义 的 。R 粗 烟 集 可 用 上 近似 集 和 下 近似 集 这 
两 个 精确 集 来 描述 ， 具 体 如 下 
R,(X) = |XeU: R(X)X| (8-3) 
R'(X)2|iXeU: R(X) Xv Ø|} (8-4) 
OR, (X)— Pik We; 
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R* (XX) 一 一 上 近似 集 ; 
UU 一 一 全 域 ，; 
R 一 一 U 的 等 价 关系 ; 
R(X) 一 一 包含 X 的 等 价 , XEU, 
集合 Bn,(X) =R* (X) -R(X) 称 为 了 的 RR 边界 域 ，Pos.(X) =R,(X) HK 
H X WY RIER, Neg,(X) 2U - R^ (X) MCN X WR GSK, Pos, CX). 是 由 根据 知 
YA RISE ERT X BS U 中 元 素 组 成 的 集合 ，R"(X) 是 根据 知识 尺 判 断 可 能 
属于 XX 的 元 素 组 成 的 集合 ，Bnn(X) 是 根据 知识 无 法 判断 是 否 属于 或 不 属于 X 
的 元 素 组 成 的 集合 ，Negn(X) 是 根据 知识 R 判断 肯定 不 属于 站 的 元 素 组 成 的 


EE: 
结合 。 


8.3.1.3 属性 的 依赖 性 和 重要 性 

在 决策 系统 $ 中 ， 条 件 属 性 C 与 决策 属性 忆 之 间 的 关系 非常 重要 ， 决 策 属 
性 DD 对 条 件 属性 C 的 依赖 度 定义 为 

Pos, (D) 
k=y(D) = U] 

式 中 Pos.(D) 一 一 决策 属性 D 在 条 件 属性 C 下 的 正 域 。 

依赖 度 夺 表示 了 在 条 件 属 性 C 下 能 确切 划 入 决策 类 U/D 的 对 象 比 率 ， 表示 
了 决策 属性 对 条 件 属性 的 依赖 程度 。 

8.3.1.4 决策 表 约 简 与 求 核 

决策 表 约 简 的 目的 是 化 简 条 件 属性 ， 约 简 后 的 决策 表 在 决策 功能 不 变 的 前 
提 下 具有 最 少 条 件 属性 。 约 简 主要 分 为 以 下 两 类 。 

1. 基于 决策 表 的 约 简 

(1) 对 于 协调 决策 表 

it (C, D) 为 协调 决策 表 ,，a e C， WR (C-lal, D) 协调 ， 则 属性 a 可 
以 去 掉 ， 否 则 不 可 。 如 果 所 有 属性 aeP Æ (C, D) 中 不 可 省 略 的 ， 则 称 
(C, D) 是 独立 的 ; 如 果 属 性 子 集 RCC,，(R, D) 是 独立 协调 的 ， 则 称 
(R, D) A (C, D) 的 约 简 ， 所 有 约 简 的 集合 称 为 核 Core(C, D), 

(2) 对 于 不 协调 决策 表 

i (C, D) 为 不 协调 决策 表 ，a e C， 当 满足 Pos,(D) = Posce (D) 时 ， 
属性 a 可 以 省 略 ， 否 则 不 可 省 略 。 

2. 基于 决策 规则 的 约 简 

决策 规则 的 约 简 是 通过 去 掉 每 个 决策 规则 的 不 必要 条 件 来 实现 的 。 假 设 0 一 
y Jy CDI, ae C, HENA: 6v HAAG 0|(C- ial ) s 为 真 时 ， 属 性 
a 是 可 以 省 略 的 ， 和 否则 不 可 省 略 。 





(8-5) 
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. 驾驶 员 视觉 分 散 特征 识别 及 检测 方法 


8.3.2 驾驶 疲劳 相关 条 件 属性 分 析 


8.3.2.1 驾驶 疲劳 分 析 

1. 疲劳 含义 

疲劳 又 称 疲惫 ， 是 一 种 主观 不 适 的 感觉 ， 客 观 上 会 失去 其 完成 原来 所 从 事 
的 正常 活动 或 工作 的 能 力 *"]。 疲 劳 可 分 为 以 下 儿 类 。 

(1) 体力 疲劳 

体力 疲劳 主要 是 因为 人 体 持续 了 较 长 时 间 和 较 大 强度 的 体力 劳动 而 引起 乳 
酸 及 其 他 代谢 产物 的 堆积 ， 造 成 肌肉 张力 下 降 及 运动 耐久 性 降低 ， 最 终 使 人 
产生 疲惫 无 力 的 感觉 削弱 了 体力 ， 局 部 过 度 紧 张 的 肌肉 可 能 会 出 现 酸 痛 
现象 。 

(2) 脑力 疲劳 

脑力 疲劳 主要 是 由 于 大 脑 持 续 了 较 长 时 间 的 与 中 枢 神 经 活动 有 关 的 脑力 劳 
动 引 起 的 ， 由 于 二 氧化 碳 的 堆积 ， 刺 激 呼 吸 中 枢 ， 还 可 能 会 导致 打 哈 欠 ， 是 一 
种 不 愿意 再 做 任何 活动 的 懒惰 感觉 ， 意 味 着 身体 急需 休息 。 

(3) 心理 疲劳 

心理 疲劳 是 一 种 常见 的 带 有 主观 体验 性 质 的 长 期 性 疲劳 ， 又 称心 因 性 疲劳 
或 精神 性 疲劳 。 与 体力 疲劳 和 脑力 疲劳 不 同 ， 心 理 疲劳 大 多 是 由 情绪 低落 引起 
的 ， 它 不 是 发 生 在 学 习 或 工作 进行 之 中 ， 往 往 在 刚刚 开始 甚至 还 没 开始 时 就 已 
出 现 。 人 在 心理 疲劳 时 对 学 习 、 工 作 的 热情 和 兴趣 会 明显 降低 ， 其 至 产生 厌倦 
情绪 。 

(4) 混合 性 疲劳 

混合 性 疲劳 又 称 综合 性 疲劳 ， 由 以 上 两 种 或 多 种 疲劳 共同 组 成 。 最 常见 的 
为 脑力 疲劳 与 体力 疲劳 共存 、 脑 力 疲劳 与 心理 疲劳 共存 。 

驾驶 疲劳 主要 是 指 驾 驶 员 在 驾驶 车 辆 时 ， 由 于 驾驶 动作 反复 、 枯 燥 、 注 意 
力 高 度 集中 、 睡 眠 不 足 所 引起 的 心理 机 能 和 生理 机 能 下 降 的 现象 。 驾 驶 疲劳 一 
般 为 混合 性 疲劳 ， 通 常 为 体力 疲劳 和 脑力 疲劳 共存 。 

2. 疲劳 的 危害 

驾驶 员 疲 劳 会 使 视力 下 降 ， 注 意 力 不 集中 ， 驾 驶 动作 迟缓 ， 对 驾驶 员 的 知 
觉 、 感 觉 、 判 断 产 生 影响 ， 对 速度 、 距 离 、 环 境 等 判断 失误 ， 有 时 其 至 会 产生 
幻觉 或 短暂 的 睡眠 ， 这 些 都 可 能 引发 交通 事故 。 

文献 [22] 从 人 体 生 理学 的 角度 提出 了 工作 一 一 休息 周期 概念 ， 把 驾驶 过 
程 分 为 疲劳 积累 期 和 疲劳 抑制 期 。 理 想 情 况 下 ， 一 个 完整 的 周期 应 该 是 驾驶 工 
作 达 到 疲劳 稳定 期 ， 然 后 休息 直至 疲劳 完全 消除 。 而 在 实际 情况 中 ， 驾 驶 员 并 
不 能 将 每 个 工作 一 一 休息 周期 全 部 进行 到 底 ， 往 往 是 还 没有 休息 到 疲劳 完全 消 
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除 又 开始 了 一 个 新 的 周期 ， 这 样 疲劳 会 在 体内 不 断 堆 积 ， 人 体 抗 疲劳 能 力 不 断 
下 降 ， 疲 劳 稳 定期 逐渐 缩短 ， 最 终 直接 进入 疲劳 恢复 期 ， 恢 复 期 很 长 ， 不 仅 危 
害 人 体 健 康 而 且 影 响 行车 安全 。 图 8-1 为 长 时 间 驾 驶 时 的 疲劳 变化 示意 图 








疲劳 度 人 


深度 疲劳 











| 1 | 1 | ass 
疲劳 上 升 恢 复 疲劳 上 升 恢复 疲劳 上 升 。 ”恢复 时 间 
图 8-1 疲劳 变化 示意 图 


驾驶 员 产生 疫 劳 时 ， 除 有 循环 机 能 的 变化 、 呼 吸 机 能 的 变化 、 血 液 的 变化 、 


神经 机 能 的 变化 、 尿 的 变化 、 体 温 的 变化 等 以 外 ， 在 心理 状态 方面 也 会 引起 多 
种 变化 ， 这 些 变化 主要 通过 驾驶 员 的 自觉 症状 和 他 觉 症 状 表现 出 来 。 主 要 有 以 
下 几 个 方面 : 








1) 感觉 器 官 功能 和 感知 能 力 降 低 。 主 要 表现 为 : 不 自觉 的 频频 点 头 〈 打 











tics Rt 














松 ， 


) ， 难 以 保持 抬头 姿势 ; 视线 模糊 ， 眼 睛 发 红 、 发 干 ; IEX, IAH 
RER, MAK, Wie Fae, 甚至 闭 眼 ; 有 皮 眼 频 率 变 大 ， 皮 眼 持 续 时 














间 增 长 。 


2) 记忆 、 思 维 、 判 断 能 力 下 降 。 rene 反应 迟钝 、 反 应 时 间 变 长 ， 





判断 决策 迟缓 ， 经 常 漏 掉 重 要 的 行车 信息 或 忘记 驾车 技术 规范 和 交通 法 规 ， 走 
错 行车 路 线 。 














3) 驾驶 车 辆 动作 不 协调 、 不 灵活 。 主 要 表现 为 : 操作 动作 的 连贯 性 降低 ， 


力量 减弱 ， 操 作 不 到 位 ;操作 动 作伪 硬 ， 节 奏 绥 慢 ， 失 去 方向 感 等 。 


4) 在 车 辆 行驶 状态 上 主要 表现 为 :车速 不 稳定 ,速度 忽 快 忽 慢 , 行车 方向 





控制 不 好 ， 和 车 辆 左右 播 摆 呈 “3S$” 形 路 线 前 进 等 。 


5) 主观 上 不 愿意 继续 驾驶 ， 信 心 、 耐 心 和 自我 控制 力 减退 ， 容 易 激动 、 急 


RAFE, TARA ERE BOR ARE Es AE 








驾驶 员 疲 劳 时 较为 明显 的 外 在 特征 主要 有 以 下 几 点 : 

1) BEAR, TTA. 

2) 不 自觉 的 频频 点 头 〈 打 睹 睡 ) ， 难 以 保持 抬头 姿态 。 

3) 肌肉 放松 ， 面 无 表情 ， 眼 上 蛤 下 垂 ， 甚 至 财 眼 。 

4) ERREK, BARRA TAI 

5) RATT MVR, "Ef, ， 或 行驶 轨迹 呈 s“S” 形 曲线 。 
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6) 随意 变换 车 速 ， 行 驶 速度 不 定 。 

驾驶 员 由 于 在 性 格 、 年 龄 、 文 化 、 习 惯 、 驾 龄 等 存在 个 体 差 异 ， 在 疲劳 时 
对 于 某 些 特征 的 反应 是 不 同 的 。 因 此 ， 通 过 某 一 症状 判断 驾驶 员 是 否 疲 劳 的 可 
靠 性 不 高 ， 而 将 多 个 症状 进行 分 析 判 断 ， 综 合 考 虑 ， 可 以 大 大 提高 驾驶 员 疲 劳 
检测 的 准确 率 。 

8.3.2.2 PERCLOS 特征 

Walt Wierwille ? jÀ Jy PERCLOS 是 最 具 潜力 的 疲劳 测定 方法 之 一 。 美 国 国家 
公路 交通 安全 局 (NHTSA) ifie f. PERCLOS 与 其 他 眼睛 活动 测量 方法 的 有 效 
性 对 比 ， 人 研究 结果 显示 ， 该 方法 非常 适合 用 于 检测 驾驶 员 的 精神 状态 ， 利 用 
PERCLOS 可 以 实现 实时 检测 。 美 国联 邦 公 路 管理 局 ( FHWA)'” 也 推荐 测量 驾 
驶 员 的 PERCLOS 作为 疲劳 检测 方法 。 通 过 大 量 实验 发 现 PERCLOS 中 的 P80 参 
数 与 疲劳 程度 有 和 较 好 的 线性 相关 性 '*”] 。 

P80: 认为 眼 瞪 庶 住 瞳孔 面积 的 80% ， 就 认为 眼睛 闭合 ， 以 此 计算 在 一 段 时 
间 内 有 眼睛 闭合 时 所 占 的 时 间 比 例 。 

图 8-2 为 眼睛 睁 开 程 度 (百分比 ) 
与 时 间 之 间 的 关系 , 表示 眼睛 在 完全 
睁 开 后 开始 闭合 的 时 刻 ; c, 表示 眼睛 闭 
合 80% 对 应 时 刻 ; 1, 表示 眼睛 睁 开 20% TAN 
对 应 时 刻 ; n 表示 有 眼睛 完全 睁 开 对 应 



































p! 
































| 
| 
| 
时 刻 。 | 
| 
根据 定义 ，P80 判断 标准 的 PER- 97 Ü 3 
0 , 1 1 | = 
CLOS 值 为 hb ar 24 


t, -t 8-2 PERCLOS 示意 
Py => x100% (8-6) m dnx 
= 


PERCLOS 测量 方法 : 由 于 时 间 ¢ 与 视频 中 图 像 序列 是 相互 对 应 的 ， 所 以 可 
采用 帧 数 计算 P， 





Pa = 


XP^ N 一 一 肯 眼 过 程 中 眼睛 闭合 所 对 应 
N 一 一 肯 眼 一 次 对 应 帧 数 。 
WRH, M Ps。< 0.2 时 ， 驾 驶 员 精 神 好 ， 处 于 清醒 状态 ; 当 0. 2 < 
Ps <0.4 时 ， 轰 驶 员 为 轻 度 疲劳 状态 ; 当 Poy 20.4 时， 驾驶 员 为 深度 疲劳 状态 ， 
该 标准 可 以 作为 量化 驾驶 员 疲 劳 程度 的 参考 值 。 
8.3.2.3 ERX 
ZAR PPA IR ISSUE, AP LAZAR AA, 一 种 是 保护 性 的 ， 是 


ole 


(8-7) 





ILE 


BIET 
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对 外 界 刺激 的 快速 反应 ， 医 学 上 称 为 “角膜 反射 ; 第 二 种 上 是 眼 的 起 因 至 今 没 有 
一 个 合理 的 解释 ， 是 每 个 人 平时 常 做 的 动作 ， 并 无 外 界 刺激 存在 ， 由 于 是 在 不 

知 不 觉 中 完成 的 ， 所 以 叫做 “不 自主 运动 ”。 

眼睛 肯 眼 时 间 75 定 义 为 眼睛 从 开始 闭合 到 再 次 完全 睁 开 持 续 的 时 间 。 如 
图 8-2 FRAN, Ty, 2t, -hh。 和 加 驶 员 在 清醒 和 疲劳 时 用 眼 时 间 的 长 短 有 明显 不 同 ， 
人 在 疲劳 时 ， 眼 瞪 的 瞬 动 一 般 较 频繁 ， 眼睛 闭合 时 间 也 较 长 。 在 驾驶 过 程 中 ， 
驾驶 员 的 眼睛 闭合 时 间 若 超过 一 定时 间 ， 则 表明 他 出 现 疲劳 。 若 眼睛 闭合 时 间 
达到 0. 5s 表示 人 已 经 疲劳 ， 此 时 驾驶 很 容易 发 生 交通 事故 :2 。 

I Bg SER] 7 测量 方法 



































Tog =t =F _ Nm 
Blink 4 1 FPS 
式 中 ,4 一 一 如 图 8-2 所 示 ; 
Ng 一 一 瞬 眼 一 次 对 应 帧 数 ，; 
FPS 一 一 图 像 的 刷新 频率 (Ws) 。 
眼睛 上 电眼 频率 fj,; 定 义 为 在 单位 时 间 内 出 现 上 电眼 的 次 数 。 通 常情 况 下 ， 人 的 
肯 眼 频率 平均 为 15 ~20 次 /min， 每 次 持续 200 ~300ms， 上 刀 眼 频率 会 受到 疲劳 程 
度 和 疾病 的 影响 "0 。 人 疲劳 时 会 表现 出 是 眼 速度 变 慢 ， 频 率 变 大 的 现象 ， 因 此 ， 
统计 上 刀 眼 频率 也 可 作为 衡量 疲劳 程度 的 一 项 指标 。 
肯 眼 频率 fs 计算 方法 


(8-8) 








Ny, 
Stink -AT - (8-9) 
式 中 Nj 一 一 时 间 段 AT pin AEIR CRI; 
AT pin —h DU BST T] B o 
8.3.2.4 点 头 参数 





ee s UE 
醒 头脑 ， 又 将 头 抬 起 ， 驾 驶 员 不 断 地 重复 点 头 ， 该 动作 的 发 生 频 
率 ， 如 果 超 过 一 个 预定 的 值 ， 则 可 以 认为 已 各 发 生 了 疲劳 。 同 时 | 如 果 点 头 时 
间 过 长 ， 则 说 明 贺 驶 员 已 临近 睡眠 状态 ， 因 此 该 现象 也 可 作为 判断 驾驶 员 是 否 
疲劳 的 一 个 标准 。Philip"" 于 1998 年 设计 了 一 个 测量 点 头 动 作 的 仪器 ， 研 究 表 
明 ， 微 小 的 点 头 动作 和 疲劳 有 很 强 的 相关 性 。 

根据 驾驶 员 低 头角 度 B 判断 是 否 点 头 ，B 随时 间 变 化 如 图 8-3 所 示 。 当 BB> 
B, 时 ， 定 义 为 一 次 有 效 的 点 头 动 作 。 通 过 试验 得 出 ， 当 B, = /18 时 ， 和 驾驶 员 的 
点 头 会 出 现 较 大 幅度 动作 ， 因 此 设 闷 值 6, = r/18。 图 8-3 PE tt 时 间 段 内 为 
头 部 的 点 头 姿态 。 

点 头 频率 有 ,计算 方法 























155 < 


7 * 驾驶 员 视觉 分 散 特征 识别 及 检测 方法 


本 
Nw A 
fut = RP (8-10) 5 
式 中 Nya t AT yoa 时 间 E 内 点 头 的 


次 数 ; 
AT ,一 一 检测 时 间 段 。 
点 头 时 间 Ti 定义 为 : 驾驶 员 发 生 点 头 
动作 到 头 部 姿势 正常 时 所 用 时 间 ， 其 值 为 














Ny E k i ioa - 
Tha = ty — by = FPS (8-11) h h b ty 7 
" . y e -3 点 头 程度 示意 
式 中 ”Nm 一 一 发 生 一 次 点 头 动 作 所 对 应 的 图 8-3 点 头 程度 示意 图 


图 像 帧 数 ; 

FPS 一 一 图 像 的 刷新 频率 (Us) 。 

8.3.2.5 哈欠 特征 

人 疲劳 时 往往 会 打 哈 欠 ， 以 提醒 人 体 大 脑 已 疲劳 ， 需 要 睡眠 休息 。 一 般 认 
为 打 哈欠 是 脑 缺 氧 的 表现 ， 通 过 打 哈 欠 的 深呼吸 运动 来 增加 血液 中 的 氧 含量 ， 
排出 尽 可 能 多 的 二 氧化 碳 ， 从 而 使 人 精力 更 加 充沛 。 人 在 一 生 之 中 都 会 打 哈 欠 ， 
完成 一 次 打 哈 欠 的 时 间 大 约 需要 6s， 在 这 期 间 人 体 全 身 的 神经 、 肌 肉 得 到 完全 
放松 , 使 人 在 生理 和 心理 上 得 到 较 好 的 休息 ， 对 人 体 具有 重要 的 生理 保护 作用 。 
因此 ， 可 以 通过 检测 驾 强 员 是 否 打 哈欠 来 判断 疲劳 程度 。 基 于 嘴巴 状态 ”3 的 
判断 方法 是 近 几 年 发 展 较 快 的 一 种 疲劳 检测 手段 ， 驾 驶 员 驾 驶 车 辆 时 ， 嘴 巴 基 
本 上 处 于 闭合 状态 ;， 而 说 话 时 ， 嘴 巴 以 较 快 的 速度 进行 张 闭 动作 ; 当 驾 驶 员 打 
哈欠 时 ， 嘴 巴 张 开 到 最 大 ， 并 且 持 续 较 长 一 段 时 间 ， 因 此 ， 嘴 巴 的 张 合 状态 也 
是 判断 驾驶 员 是 否 疲劳 的 一 个 依据 。 

通过 大 量 试验 发 现 ， 大 多 数 人 在 闭 嘴 或 者 轻声 交谈 时 ， 嘴 巴 宽 高 比 Kj > 
1.2; 当 打 哈欠 时 Ky <0.7, 通过 Kj 值 即 可 判断 驾驶 员 是 否 在 打 哈 欠 。 当 Ky < 
0.7 且 持 续 时 间 大 于 4s 时 ， 就 认为 驾驶 员 在 打 哈 欠 。 

FTO RIFE fran FETE TTI 























fron EAT, T (8-12) 


式 中 Nyon HE A7,,,, 时 间 段 内 打 哈 欠 的 次 数 ，; 

AT 一 一 检测 时 间 段 。 

8.3.2.6 车 道 偏 离 特 征 

疲劳 驾驶 时 ， 由 于 驾驶 员 反 应 迟钝 、 注 意 力 分 散 ， 和 车 辆 有 可 能 偏离 车 道 而 
不 按 正常 轨迹 行驶 。 本 书 主 要 检测 两 个 技术 指标 : 一 是 车 道 偏离 率 &; 二 是 车 道 
偏离 量变 化 率 5。 根 据 试验 得 出 车 辆 偏离 距离 4 TE d «0.3 之 内 属于 正常 偏离 范 
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E; iPS HHS 0.3<d <0.7 时 车 辆 出 现 了 偏离 ; d=0.7 时 车 辆 严重 偏离 车 道 线 。 
偏离 距离 d. 与 车 道 偏离 率 之 间 的 关系 如 图 8-4 所 示 。 对 于 车 道 偏离 量变 化 率 ， 当 
£ «0. 1 时 车 辆 行驶 轨迹 属于 正常 范围 ; 0. 1 SL «0.15 时 车 辆 偏离 量变 化 较 大 ; 
《=0.15 时 车 辆 偏离 量变 化 很 大 。 
40 
30r 
x» 20r 
10r 
j 
-2 f 0 1 2 


d 
图 8-4 偏离 率 与 偏离 距离 关系 


8.3.3 疲劳 程度 判断 


考虑 到 在 驾驶 员 疫 劳 检 测 过 程 中 ， 各 检测 量 的 数据 类 型 不 同 ， 且 数据 量 较 
大 的 特点 ， 本 书 采用 分 布 式 信息 融合 结构 ， 首 先 对 各 传感器 的 原始 观测 数据 进 
行 初 步 分 析 处 理 ， 做 出 本 地 判决 结论 ; 然后 将 结论 信息 传递 到 融合 中 心 ， 在 决 
策 级 按照 粗糙 集 理论 将 多 方面 的 数据 做 进一步 的 合成 处 理 ， 得 出 最 终 判断 。 融 
合 结构 如 图 8-5 所 示 。 


E 
» 
D 
站 
劳 
程 
度 


图 8-5 决策 层 融合 结构 





8.3.3.1 属性 离散 归 一 化 
本 系统 中 将 下 列 参 数 作为 粗糙 集中 的 条 件 属性 :fc =P80, b = HZ ERAS TR], 
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c=BR, d= 点 头 时 间 ，e = 点头 频率 , /= 打 哈 欠 频 率 ，g = 车 道 偏离 率 ， 
h = 车 道 偏离 量变 化 率 | 。 由 于 这 些 参数 是 连续 的 数值 型 数据 ， 因 此 需 先 将 数据 
进行 离散 化 处 理 ， 否 则 粗糙 集 理论 将 得 不 到 正确 的 结论 。 

本 书 根据 斩 驶 疲劳 相关 条 件 属性 的 分 析 ， 采 用 数据 分 割 的 方法 进行 离散 。 
由 于 不 同属 性 表示 的 意义 不 同 ， 因 此 数据 的 分 割 区 域 亦 不 相同 。 本 书 将 属性 离 
散 为 三 个 等 级 ， 分 别 以 10,1,2} 表示 ,具体 如 下 : 

0: 表示 在 正常 范围 内 ; 

1: 表示 超出 正常 范围 程度 较 小 ; 

2: 表示 超出 正常 范围 程度 较 大 。 

具体 离散 规则 如 表 8-1 所 示 。 

表 8-1 属性 离散 化 






































条 件 属 性 0 1 2 

Pep Pep < 20% 20% = P; <40% Poo =40% 
有 肯 眼 时 间 /s T pring <0.3 0.3 € Ty, «0.5 T pin; 70.5 
IRH Siting <20 20 S frins <25 Jeun 225 
点 头 时 间 /s Ty, «0.3 0. 3 Ty, «0.5 Tno Z0. 5 

点 头 频率 fv <2 2Xfy <5 fwo 25 

打 哈 欠 频 率 fyawn <2 2Sfyaun <5 fyaun 25 

车 道 偏离 率 0.7 «£«1.4 WD é<0.4 
or 1.4<é<2.3 or €22.3 

车 道 偏离 量变 化 率 £ «0.1 0. 1 x£ «0.15 €20. 15 


决策 属性 0 代表 驾驶 员 疲 劳 程 度 ，0O = 10,1,2], Xon 55 = RES 
M 

SUBDIT IHRE S, BEAGLES BEES ; 
n SR LABES SER SF ARAS , DUISETS Bb 53 ERE Ho RES e A, fH 
baile etn pM PR Ad i. 

驾驶 员 处 于 深度 疲劳 状态 ， 此 时 继续 驾驶 将 存在 重大 安全 隐患 ， 易 发 生 

age. 

人 体 的 疲劳 感觉 具有 渐进 性 ， 如 图 8-1 所 示 。 随 着 驾驶 时 间 的 延长 ， 疲 劳 
度 呈 现 缓慢 增长 。 然 而 ， 由 于 人 体 的 抑制 作用 ， E 段 时 间 内 疲劳 程度 也 会 呈 
现 缓慢 的 递减 现象 。 无 论 哪 种 情况 ， 疫 劳 度 都 是 缓慢 变化 的 ， 特 别 是 疫 劳 度 的 
增长 ， 因 此 ， 为 增加 疲劳 检测 的 准确 性 ， 需 取 一 段 时 间 内 的 条 件 属性 进行 分 析 
判断 。 本 书 取 当 前 时 刻 前 60s 内 的 条 件 属 性 数据 进行 统计 ， 当 前 条 件 属性 取 值 取 
en glee ae aD wep mae 

条 件 属性 是 个 例外 ， 进行 信息 融合 时 ， 属 性 值 取 当前 较 小 时 间 段 (0. 5s) 
ee 这 是 由 于 人 体 疲劳 具有 渐进 性 ， 然 而 车 辆 的 行驶 由 于 车 速 较 快 ， 

















= 158 








第 8 章 基于 信息 融合 的 驾驶 员 疲劳 检测 $ 











属性 值 存在 突变 ， 因 此 ， 不 能 在 较 长 范围 内 进行 统计 处 理 。 信 息 融 合 过 程 如 
图 8-6 所 示 。 
a 
8i 
namma |i BLUES NS E: 
nh 存 
化 储 
[z z 
决策 融合 
疲劳 度 输出 
图 8-6 信息 融合 过 程 
部 分 离散 化 后 的 数据 如 表 8-2 所 示 。 
表 8-2 决策 表 
U a b c d e f g h 0 
1 2 1 1 2 1 0 1 2 2 
2 1 0 0 0 0 0 0 0 0 
3 1 2 2 1 1 1 0 1 2 
4 2 2 2 0 0 0 1 0 2 
5 1 0 0 2 2 1 1 1 2 
6 1 1 2 2 2 0 1 1 2 
i 1 1 1 1 2 2 2 0 2 
8 1 0 0 1 1 1 2 1 2 
9 1 1 1 1 1 1 1 1 2 
10 1 1 1 1 1 1 0 2 2 
11 0 0 0 1 1 0 0 1 1 
12 0 0 1 1 0 0 0 1 1 
13 1 0 1 0 0 0 0 1 1 
14 0 0 1 1 0 0 1 1 1 
15 0 0 0 1 1 0 1 1 1 
16 1 0 0 1 0 0 0 0 1 
17 0 1 1 0 0 1 1 0 1 
18 1 0 1 0 0 0 0 1 1 
19 0 0 1 1 0 0 1 0 1 
20 0 0 0 1 0 1 0 1 1 
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8.3.3.2. 数据 约 简 

由 于 以 上 任何 一 个 条 件 属 性 只 要 其 值 为 2， 就 可 判断 驾驶 员 已 经 出 现 了 深 
度 疲劳 状态 ， 因 此 ， 任 何 一 个 条 件 属 性 都 是 必须 的 ， 不 能 约 简 ， 决 策 表 是 协 
调 的 ， 其 核 值 为 ja,b,c,d,e,f,g,h|, 共有 264 个 最 小 决策 算法 。 部 分 决策 如 
下 所 示 

4,2, b,—2, c2, d—2, e2, fj—2, g2, hj—2, 

aibicidie fug, h, 2, abcde fig hy—2, aobocodoeofo goho—0, 

a, by Cody eh g hy—2, A bo Cod Cofok hy—2, agbocod,e,fygoh,—1 , 

Ay by Ay egfogyh,—1 , a, boc doehSoil, agboc, d egfog  h,—1, 

agbocod, e, fog, Ail, abocodieofogoho 21, agb, cu doegf g iol, 

a, bc, dyegfogyh,—1 , agboc du egfog hy—1 , apbocod eof gh, lo 

根据 最 小 决策 算法 即 可 判断 驾驶 员 是 否 疲劳 ， 以 及 疲劳 程度 。 
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本 章 主要 研究 了 运用 多 信息 融合 技术 进行 驾驶 员 疲 劳 检 测 的 问题 。 考 虑 到 
检测 数据 类 型 不 同 、 数 据 量 大 的 特点 ， 采 用 分 布 式 融合 结构 ， 在 决策 级 用 粗糙 
集 理论 进行 融合 判断 。 研 究 了 粗糙 集中 条 件 属性 的 离散 归 一 化 问题 ， 将 检测 值 
根据 评判 标准 归 一 化 到 疲劳 程度 上 。 研 究 了 数据 约 简 方 法 ， 寻 找 出 判断 鸭 驶 员 
是 否 疲劳 的 264 个 最 小 决策 方法 。 
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9.1 概述 


前 面 昔 节 分 别 研究 了 驾驶 员 面 部 姿势 、 视 线 方向 、 驾 驶 行为 、 车 道 线 的 识 
别 及 相关 检测 理论 ， 本 章 根据 视觉 分 散 检测 模型 建立 驾驶 员 视 觉 分 散 检 测 系统 
及 驾驶 疲劳 检测 系统 ， 并 进行 一 定 的 实验 研究， 以 验证 视觉 检测 系统 的 可 行 性 
及 驾驶 疫 荔 检测 的 可 行 性 。 


9.2 视 党 分散 检测 实验 


检测 系统 的 硬件 构成 是 由 多 方面 的 因素 共同 决定 的 ， 所 要 达到 的 性 能 指标 
是 决定 系统 硬件 配置 的 最 关键 因素 ,同时 系统 硬件 的 选择 也 是 很 广泛 的 。 由 于 
本 书 所 需要 实现 的 系统 是 一 个 实验 性 质 的 小 型 系统 ， 对 性 能 的 要 求 不 是 很 高 ， 
所 以 选择 了 一 般 的 硬件 配置 。 硬 件 系统 主要 完成 驾驶 员 面 部 、 手 部 视频 采集 ， 
以 及 图 像 处 理 、 模 式 识别 等 任务 。 因 此 ,该 系统 的 硬件 组 成 主要 包括 两 台 摄像 
机 、 一 台 微 型 计算 机 ， 还 包括 部 分 板 卡 、 数 据 线 、 电 源 线 及 逆 变 器 等 辅助 器 件 。 

其 中 主要 硬件 的 型 号 

摄像 机 1 主要 用 来 采集 驾驶 员 的 面部 视频 ， 因 为 需要 较 清晰 的 面部 图 像 ， 
所 以 采用 成 像 质 量 较 好 的 数字 工业 摄像 机 。 型 号 为 AVT Guppy F- 003C， 逐 行 
SONY CCD ， 最 大 分 辩 率 656 x 494dpi， 最 大 帧 率 为 58 帧 /s， 镜 头 为 COMPUTAR 
5mm 镜头 。 具 有 自动 增益 控制 、 自 动 白 平 衡 、 自 动 曝光 控制 等 功能 。 采 用 IEEE 
1394a 接口 方式 与 计算 机 进行 数据 传递 。 

摄像 机 2 主要 用 来 采集 驾驶 员 的 手 部 视频 ， 不 需要 太 高 质量 的 视频 图 像 ， 
因此 选择 成 本 较 低 的 极速 辉 焊 05 摄像 机 。 其 性 能 指标 如 下 : 301 plh a Fr, 
CMOS 传感器 ， 最 大 分 辨 率 800 x600dpi， 最 大 帧 率 为 30 帧 /s， 具 有 完善 的 自动 
亮度 、 自 动 白 平衡 控制 ， 可 提供 色彩 饱和 度 、 对 比 度 等 高 级 数码 影像 控制 功能 。 
采用 USB 2.0 接口 方式 与 计算 机 进行 数据 传递 。 
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计算 机 计算 机 是 执行 处 理 算法 的 核心 部 分 ， 本 次 使 用 的 是 普通 PC 机 ， 基 
本 配置 为 : Intel Pentium Dual E2180 2. 00Ghz CPU, 2G 内 存 。 

检测 系统 软件 在 Windows XP 操作 系统 下 Matlab2006a 的 软件 环境 下 实现 。 
根据 视觉 分 散 检 测 模型 ， 检 测 系统 需要 包括 以 下 五 个 部 分 : 

1) 采集 驾驶 员 面 部 、 手 部 彩色 视频 图 像 ， 并 进行 图 像 预 处 理 ; 

2) 利用 肤色 特征 ， 进 行人 脸 区 域 定 位 ， 以 估计 驾驶 员 面 部 姿势 ; 

3) 在 人 脸 区 域内 进行 眼睛 定位 ， 以 识别 区 驶 员 眼 睛 视线 方向 ; 

4) 定位 并 跟踪 驾驶 员 双 手 位 置 ， 判 断 驾 驶 员 是 否 在 转 问 ; 

5) 判断 驾驶 员 是 否 发 生 视觉 分 散 ， 若 是 则 给 出 警告 。 

系统 软件 框架 如 图 9-1 所 示 。 


获取 面部 视频 获取 手 部 视频 














面部 姿势 估计 转向 行为 识别 











向 状态 























图 9-1 视觉 分 散 检测 系统 软件 框架 


因为 在 行驶 的 车 辆 上 进行 视觉 分 散 作业 上 毕 竞 很 危险 ， 所 以 让 驾驶 员 在 车 流 
量 较 少 的 道路 上 低速 驾驶 并 完成 多 种 作业 : 中 直线 行驶 时 观察 仪表 板 ; OHR 
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行驶 时 调节 收音 机 ; @@ 完 成 十 字 路 口 处 转向 的 驾驶 行为 。 完 成 作业 的 目的 是 验 
证 检测 系 检测 视觉 分 散 的 效果 ， 以 及 能 否 避 和 免 转向 过 程 中 的 虚 殴 现象 。 

选择 车 内 空间 较 大 的 中 兴 SUV 和 车辆， 并 在 场地 内 安装 摄像 机 ， 摄 像 机 1 正 
对 驾驶 员 面 部 ， 摄 像 机 2 朝向 转向 盘 中 心 ， 安 装 位 置 如 图 9-2a 所 示 。 在 道路 行 
驶 中 把 摄像 机 的 帧 率 均 设 定 在 30 帧 /s， 获 取 的 视频 图 像 如 图 9-2b 所 示 。 因 为 使 
用 的 车 辆 不 同 ， 获 取 的 驾驶 员 手 部 图 像 与 前 面 章节 不 尽 相 同 。 但 不 影响 检测 鸭 
驶 员 的 转向 行为 ， 因 为 我 们 应 用 的 参数 是 驾驶 员 手 部 位 置 标准 差 。 在 分 析 手 部 
位 置 时 ， 建 立 坐标 系 与 图 6-1b 相同 。 





_ 摄 像 机 1 。 摄像 机 2 


—À 





b) 摄取 的 手 、 面 部 图 像 
图 9-2 摄像 机 安装 及 获取 图 像 


采用 前 述 章节 的 相关 理论 对 本 节 提 出 的 三 种 作业 进行 识别 与 检测 实验 ， 得 
到 的 实验 结果 及 分 析 如 下 。 

1. 观察 仪表 盘 

图 9-3 中 可 以 看 出 驾驶 员 观 察 仪 表盘 时 面部 姿势 变化 较 小 ， 面 部 俯仰 角 与 
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图 9-3 驾驶 员 观 察 仪表 盘 


横 摆 角 都 在 上 12? 范 围 以 内 ， 因 此 需要 判断 驾驶 员 的 眼睛 视线 方向 。 根 据 第 5 3 
的 方法 对 眼睛 视线 方向 进行 识别 ， 其 中 连续 20 Qi (SE 22 t) 识别 为 视线 方向 
偏离 ， 持 续 时 间 不 到 1s 对 驾驶 能 力 的 影响 较 小 。 

2. 调节 收音 机 

图 9-4 中 可 以 看 出 驾驶 员 调 节 收 音 机 时 面部 姿势 变化 较 大 ， 面 部 横 摆 角 偏 
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图 9-4 驾驶 员 调 节 收 音 机 


转达 到 20* 左 右 ， 俯 仰角 在 - 20? 左 右 变化 ， 并 且 持 续 时 间 超 过 2s， 需 要 判断 驾 
驶 员 是 否 在 转向 。 因 为 只 有 驾驶 员 右 手 的 位 置 标准 差 变 化 较 大 ， 所 以 可 以 判定 
驾驶 员 并 没有 进行 转向 行驶 ， 这 时 需要 对 多 驶 员 进 行 警 告 。 

3. 十 字 路 口 转向 

从 图 9-5a 中 我 们 可 以 看 出 ， 在 十 字 路 口 的 转向 过 程 中 芍 驶 员 面 部 姿势 变化 
比较 明显 ， 特 别 是 横 摆 角 明 显 超出 + 12° 的 正常 视线 范围 ， 并 且 持 续 时 间 超 过 
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图 9-5 十 字 路 口 转向 














2s。 根 据 转向 行为 识别 算法 ， 可 以 识别 出 驾驶 员 是 在 进行 转向 ， 因 此 不 需要 警告 
驾驶 员 ， 避 人 免 虚 警 的 发 生 。 
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9.3 驾驶 疲劳 检测 实验 


为 研究 信息 融合 方法 对 驾驶 员 疲 劳 检 测 的 有 效 性 ， 本 书 作者 设计 了 一 个 检 
测 性 实验 ， 考 虑 到 驾驶 安全 因素 ， 本 书 作 者 采用 了 模拟 各 种 状态 的 实验 方法 。 
图 9-6、 图 9-7、 图 9-8、 图 9-9 为 四 段 实际 检测 数据 。 其 中 ， 图 9-6 为 驾驶 员 
清醒 时 采集 的 数据 ; 图 9-7 为 驾驶 员 轻 度 疲劳 时 采集 的 数据 ; 图 9-8、 图 9-9 为 
驾驶 员 深 度 疲 劳 时 采集 的 数据 。 

从 图 9-6a ~ 图 9-6h 中 可 以 看 出 ， 离 散 后 的 8 个 条 件 属 性 值 在 0 与 1 之 间 波 
动 ， 其 中 ，P80 、 上 刀 腿 时 间 周 期 、 刀 眼 频 率 、 点 头 时 间 分 别 对 应 的 值 a、b、c、d 
大 部 分 时 间 在 正常 范围 内 ,偶尔 会 稍微 超出 正常 范围 ， 单 靠 这 些 指 标 中 任何 一 
个 都 不 能 判断 驾驶 员 的 疲劳 程度 ; 点 头 频率 e 在 大 部 分 时 间 内 值 都 为 1， 也 不 能 
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图 9-6 数据 融合 曲线 (一 ) 
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* 驾驶 员 视觉 分 散 特征 二 


只 别 及 检测 方法 


| I I A EN CXTRA 


D 75 Bh R DE EE, / 值 在 此 段 时 间 内 都 为 0， 
、1 之 间 变化 较为 频繁 ， 同 时 值 一 直 为 0， 


g 值 在 0 
辆 在 车 道中 心 边 


W 25 Jb 5 UE TTC, 
说 明 此 段 时 间 驾 驶 员 的 车 
缘 行 驶 ， 并 未 出 现 失去 控制 的 车 辆 偏离 。 综 合 这 些 指 标 ， 根 





据 最 小 决策 算法 判断 驾驶 员 处 在 清醒 状态 。 综 合 ; 


I| Wr Be 7 Fe BE y HH Un E] 9-6i 


所 示 。 

图 9-7a ~ 图 9-7h 为 驾驶 员 轻 度 疲劳 时 的 数据 ， 曲 线 在 开始 阶段 ，w、2 值 为 
1 偏 大 ， 其 他 值 为 0， 都 在 正常 范围 内 ; 然而 c<、d、e、g 值 为 1， 根 据 融合 规则 ， 
判断 罗 驶 员 处 于 轻 度 疲劳 阶段 ; 随 着 各 属性 值 恢复 正常 ， 判 断 驾 驶 员 恢 复 到 清 
醒 状态 。 综 综合 判断 疲劳 程度 输出 如 图 9- Ti 所 示 。 
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i) 
图 9-7 数据 融合 曲线 (二 ) 
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图 9-8a ~ 图 9-8h 为 驾驶 员 驾 驶 过 程 中 出 现 深度 疲劳 的 曲线 ， 可 以 看 出 a、 
b, c, e 值 都 能 达到 最 大 值 , 疡 经 常 取 1， 说 明 车 辆 在 车 道中 变 向 行驶 ， 并 未 党 
车 道 线 方向 行进 。 此 时 ， 车 辆 处 于 高 度 危险 状态 ， 必 须 马 上 发 出 警报 ; 后 半 阶 
段 随 着 驾驶 员 逐 渐 清 醒 ， 各 检测 值 恢 复 到 正 党 水平。 综合 判断 疲劳 程度 输出 如 
图 9-8i 所 示 。 
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图 9-8 数据 融合 曲线 (三 ) 


图 9-9a ~ 图 9-9h 同样 是 驾驶 员 处 在 疲劳 时 的 检测 曲线 ， 根 据 融 合 规则 ， 检 
测 疲 劳 程 度 输出 如 图 9-9i 所 示 。 
可 以 看 出 ,采用 信息 融合 规则 后 ， 通 过 检测 多 个 特征 量 ,， 综合 考虑 各 特 
征 状 态 ， 根 据 融 合 决 策 判断 驾驶 员 疲 劳 程 度 ， 比 单一 检测 方法 更 准确 、 更 
全 面 。 
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图 9-9 数据 融合 曲线 (四 ) 


9.4 Ap 


本 章 中 作者 根据 视觉 分 散 检 测 模型 ， 建 立 驾 驶 员 视 觉 分 散 检测 系统 的 软 硬 
件 系 统 ， 并 进行 实验 研究 。 摄 取 驾 驶 员 在 驾驶 过 程 中 进行 各 种 视觉 分 散 作 业 ， 
以 及 转向 时 的 手 、 面 部 视频 图 像 ， 利 用 前 面 章节 的 研究 成 果 进 行 检测 实验 ， 结 
果 表 明 检 测 系统 可 以 检测 出 驾驶 员 的 各 种 视觉 分 散 行为 ， 并 能 有 效 防 止 转向 时 
的 虚 警 现象 。 在 模拟 状态 下 获取 驾驶 员 疲 劳 状 态 各 种 视频 进行 疲劳 检测 实验 ， 





结果 表明 采用 信息 融合 算法 能 够 减少 误 判 ， 检 测 结果 更 具 可 靠 性 。 
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本 书 研究 了 基于 视频 图 像 分 析 的 驾驶 员 视 觉 分 散 检 测 ， 并 重点 研究 了 驾驶 
员 面 部 姿势 、 眼 睛 视线 方向 特征 的 提取 方法 ， 以 及 驾驶 员 转 向 行为 的 识别 方法 ， 
对 驾驶 员 被 动 视觉 分 散 (驾驶 疲劳 检测 方法 进行 了 初步 研究 。 本 书 作者 建 
立 了 驾驶 员 视 觉 分 散 检测 模型 、 面 部 图 像 定位 、 面 部 姿势 提取 、 眼 睛 视线 方向 
识别 、 转 向 行为 识别 、 车 道 线 识别 、 驾 驶 疲劳 检测 、 设 计 驾 驶 员 视 觉 分 散 检 测 
系统 等 模型 和 系统 ， 并 取得 如 下 阶段 性 研究 成 果 。 

1. 建立 了 驾驶 员 视 觉 分 散 检测 模型 

作者 研究 了 视觉 分 散 影 响 驾 驶 员 的 机 理 ， 驾 驶 员 发 生 视 觉 分 散 时 不 能 及 时 
获得 控制 车 辆 所 需 的 信号 ， 只 能 保持 转向 盘 以 固定 的 转角 ， 导 致 行驶 路 线 的 偏 
离 。 通 过 分 析 驾 s 驶 员 观察 四 处 文本 信息 时 车 辆 的 SDLP (偏离 道路 中 心 距离 的 标 
准 差 )， 发 现 SDLP 随 着 视线 偏离 车 辆 前 方 角度 的 增 大 而 增 大 。 作 者 研究 了 视觉 
分 散 的 特点 ， 认 为 通过 视频 分 析 检 测 行为 的 方法 适合 于 检测 驾驶 员 视 觉 分 散 。 
本 书 讨论 了 视觉 分 散 检 测 的 靖 值 ， 根 据 驾 驶 过 程 中 鸭 驶 员 视线 变化 的 特点 ， 建 
立 了 基于 驾驶 员 面 部 姿势 与 视线 方向 识别 ， 并 包含 转向 行为 识别 的 视觉 分 散 检 
测 模型 。 

2. 人 研究 了 适合 面部 姿势 提取 的 驾驶 员 面 部 精确 定位 方法 

针对 驾驶 员 面 部 姿势 多 变 的 特点 ， 作 者 提出 先 采用 肤色 混合 高 斯 模型 预定 
位 人 脸 区 域 ， 再 根据 眉毛 、 嘴 展位 置 精确 定位 驾驶 员 面 部 的 方法 。 针 对 眉毛 区 
域 灰 度 值 低 、 变 化 剧烈 的 特点 ， 采 用 联合 投影 函数 定位 眉毛 区 域 上 边缘 。 针 对 
驾驶 员 面 部 姿势 偏转 较 大 时 ， 少 量 背 景 图 像 会 影响 眉毛 定位 的 不 足 ， 作 者 研究 
了 一 种 在 头发 检测 基础 上 ， 滤 除 背 景 图 像 的 方法 ， 实 验证 明 效果 良好 ; 研究 了 
利用 展 色 多 项 式 模型 及 展 色 比 人 脸 肤 色 更 红 的 特点 ， 定 位 驾驶 员 嘴 展区 域 下 边 
缘 的 方法 ; 研究 了 驾驶 员 面 部 图 像 归 一 化 的 方法 。 实 验证 明 ， 本 书 提出 的 由 粗 
到 精 的 定位 方法 可 以 精确 定位 多 种 姿势 下 的 驾驶 员 面部 ， 为 面部 姿势 估计 黄 定 
基础 。 

3. 提出 了 利用 核 主 元 分 析 估 计 驾 驶 员 面 部 姿势 的 方法 

研究 核 主 元 分 析 实 现 原 理 ， 作 者 研究 了 利用 核 主 元 分 析 估计 面 部 姿势 步骤 ; 
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“驾驶 员 视 觉 分 散 特 征 识别 及 检测 方法 
Eb d ce ME DR eae 设计 了 样本 图 像 采 集 系 统 。 利 用 核 主 元 分 析 
把 高 维 面部 图 像 存在 的 流 形 结构 肯 入 到 二 维 空间 ， 建 立 提取 面部 姿势 的 标准 曲 
线 ， 发现 可 以 在 同一 空间 下 骨 入 多 人 的 姿势 曲线 ， 而 不 至 于 使 姿势 曲线 形状 发 
生 较 大 改变 。 利 用 训练 样本 建立 姿势 曲线 并 拟 合 圆 ， 然 后 把 测试 样本 图 像 投影 
到 相同 空间 ， 根 据 拟 合 圆心 及 姿势 曲线 上 与 新 投影 点 最 近 的 2 个 点 ,估计 测试 
样本 图 像 对 应 的 角度 ,估计 精 度 可 满足 一 定 实际 需求 。 作 者 研究 了 不 同 核 函 数 、 
核 函数 参数 对 估计 面部 姿势 的 影响 ， 发 现 核 函数 参数 的 变化 对 提取 精度 的 影响 
较 大 ， 在 核 函 数 参数 选择 合理 的 情况 下 ， 不 同 核 函 数 对 估计 精度 影响 不 大 。 

4. 提出 了 应 用 Mult- PCA 识别 驾驶 员 眼 睛 视线 方向 的 方法 

本 书 研 究 了 PCA 实现 原理 ， 分 析 了 常用 PCA 应 用 于 识别 时 存在 的 问题 。 作 
者 针对 驾驶 环境 中 精确 提取 眼睛 视线 方向 的 困难 ， 提 出 了 应 用 Multi- PCA 来 识别 
眼睛 视线 方向 的 方法 。 研 究 了 应 用 联合 投影 函数 与 眼角 定位 相 结合 定位 眼睛 区 
域 的 方法 ;人 研究 不 同 视线 特征 空间 的 相似 度 ， 发 现 只 有 同类 空间 具有 较 高 的 相 
似 度 ; 研究 不 同 眼 睛 视线 方向 图 像 在 不 同 特征 空间 的 重 构 误 差 ， 发现 只 有 在 样 
本 图 像 与 特征 空间 的 类 别 相 同时 才能 获得 最 小 重 构 误 差 ， 从 而 也 证 明了 方法 的 
可 行 性 。 实 验证 明 Multi- PCA 方法 的 识别 率 高 于 PCA 方法 的 识别 率 。 

5. 提出 了 轰 驶 员 转 向 行为 的 识别 方法 

驾驶 员 在 十 字 路 口 处 的 转向 过 程 中 ， 视 线 方向 偏离 车 辆 前 方 的 持续 时 间 会 
超过 2s。 为 防止 检测 系统 将 此 误 识 为 驾驶 员 视 觉 分 散 ， 作 者 提出 对 轰 Ans 
行为 进行 识别 研究 。 作 者 研究 了 基于 视频 分 析 的 驾驶 员 双 手 定位 方法 ， 为 提 
双手 定位 的 实时 性 ， 研 究 了 基于 粒子 滤波 算法 的 驾驶 员 双 手 跟踪 方法 ; ne 
pcs 驶 员 手 部 位 置 的 特点 ， 发 现 转向 过 程 中 驾驶 员 手 部 位 置 变化 相对 剧 

， 因 此 提出 利用 双手 位 置 标准 差 识别 驾驶 员 转 向 行为 的 方法 。 作 者 提出 设置 
E 解决 转向 过 程 中 间 部 分 的 标准 差 较 小 而 不 利于 转向 行为 识别 的 缺 
点 ， 实 验证 明 所 提 算 法 可 以 识别 驾驶 员 的 大 部 分 转向 行为 。 

6. 研究 了 道路 检测 跟踪 方法 

针对 结构 化 道路 特点 ， 本 书 作 者 提出 了 道路 图 像 分 区 垂直 积分 投影 的 车 道 
线 检测 方法 。 为 提高 检测 率 ， 首 先 对 道路 图 像 进行 预 处 理 ， 提 出 了 基于 邻 域 主 
成 分 分 析 法 的 图 像 平滑 方法 。 为 增强 图 像 对 比 度 ， 作 者 提出 基于 Sin 函数 的 图 像 
拉 伸 曲线 。 作 者 研究 了 分 区 图 像 中 车 道 标 志 线 投影 关系 问题 ， 针 对 投影 曲线 平 
滑 后 曲线 轮廓 易 改 变 的 缺点 ， 提 出 了 新 平滑 方法 ， 该 方法 能 在 保持 原始 投影 曲 
线形 状 基 本 不 变 的 前 提 下 进行 平滑 。 为 准确 检测 出 车 道 线 边缘 点 ， 作 者 提出 了 
车 道 线 边 缘 点 调整 方法 ; 为 得 到 车 道 线 参数 ， 采 用 最 小 二 乘法 对 车 道 线 进 行 线 
性 拟 合 。 作 者 研究 了 车 道 标志 线 的 跟踪 方法 ， 基 于 视频 图 像 的 连续 性 ， 确 定 车 
道 线 感 兴趣 区 域 ， 在 该 区 域 中 采用 方向 可 调 滤波 器 对 车 道 线 进 行 精确 定位 跟踪 ， 
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研究 了 眼 踪 过 程 中 方向 角 的 选取 问题 。 实 验 结果 表明 ， 该 检测 方法 能 够 准确 检 
测 出 道路 中 的 车 道 线 。 

对 于 非 结构 化 道路 检测 ， 本 书 作者 假设 道路 图 像 与 周围 环境 颜色 之 间 具有 
一 定 的 差异 性 ， 提 出 了 基于 FCM 分 割 的 方法 检测 道路 区 域 ， 并 对 FCM 中 的 初始 
化 问题 进行 了 研究 。 针 对 非 结构 化 道路 的 特点 ， 作 者 提出 了 道路 图 像 重 采样 及 
大 尺度 平滑 的 思想 ， 并 分 析 了 重 采样 对 检测 结果 的 影响 ， 讨 论 了 直方 图 在 图 像 
区 域 划分 中 的 应 用 问题 ， 分 析 了 道路 区 域 图 像 志 的 特性 ， 并 提出 了 判断 标准 。 
实验 结果 显示 ， 采 用 大 尺度 平滑 算法 能 够 提高 检测 率 ， 图 像 重 采样 可 以 降低 计 
算 时 间 ，FCM 方法 能 够 较 好 的 检测 出 道路 区 域 。 对 于 车 辆 行驶 轨迹 的 检测 ， 本 
书 选用 两 个 参数 进行 衡量 ,采用 车 道 偏离 率 衡 量 车 辆 当前 位 置 ， 采 用 车 道 偏离 
量变 化 率 判断 车 辆 行驶 方向 。 书 中 分 析 了 车道 偏 离 率 取 值 范围 与 车 辆 位 置 之 间 
的 量化 关系 ， 给 出 了 车 道 偏离 量变 化 率 的 计算 方法 。 

7. 研究 了 多 信息 融合 技术 在 疲劳 检测 中 的 应 用 

根据 检测 信息 特点 ， 本 书 采用 了 分 布 式 信息 融合 结构 进行 疲劳 程度 判断 。 
作者 研究 了 得 糙 集 理论 在 决策 级 信息 融合 中 的 应 用 ， 根 据 粗 狼 集 理论 要 求 ， 分 
析 了 单个 检测 特征 量 与 驾驶 员 疲劳 程度 之 间 的 量化 关系 ， 并 将 条 件 属性 进行 离 
散 归 一 化 。 对 于 表征 疫 劳 程度 的 决策 属性 问题 ， 作 者 将 驾驶 疫 劳 程度 分 为 清醒 、 
经 度 疲劳 、 深 度 疲劳 三 种 状态 ;研究 了 决策 表 的 约 简 问题 ， 根 据 实际 情况 ， 奸 
立 判断 移 驶 疲劳 程度 的 264 个 最 小 决策 方法 。 实 验 结果 证 明 ， 采 用 信息 融合 技 
术 可 以 更 加 全 面 地 检测 驾驶 疫 劳 程度 。 

8. 建立 了 视觉 分 散 检测 系统 的 软 硬 件 框架 ， 并 对 驾驶 员 视觉 分 散 进行 实 3 
研究 

根据 视 党 分 散 检测 模型 ， 本 书 建立 了 驾驶 员 视 觉 分 散 检 测 系统 的 软 、 硬 件 
框架 ， 并 进行 实验 研究 ;摄取 驾驶 员 在 驾驶 过 程 中 进行 各 种 视觉 分 散 作 业 以 及 
转向 时 的 手 、 面 部 视频 图 像 ， 利 用 已 有 研究 成 果 进 行 检测 实验 ， 结 果 表明 检测 
系统 可 以 检测 出 驾驶 员 的 各 种 视觉 分 散 行为 ， 并 能 有 效 防止 转向 时 的 虚 敬 现象 

本 书 的 主要 创新 点 如 下 ; 

1) 提出 利用 核 主 元 分 析 估 计 驾 驶 员 面 部 姿势 的 方法 。 设 计 精 确 角 度 下 面部 
图 像 采 集 系统 以 获得 标准 样本 。 利 用 核 主 元 分 析 ， 把 高 维 面部 图 像 存在 的 流 形 
结构 嵌入 到 二 维 空间 ， 建 立 估计 面部 姿势 的 标准 曲线 ， 并 拟 合 加 。 将 测试 样本 
投影 到 相同 空间 ， 根 据 拟 合同 心 及 姿势 曲线 上 与 新 投影 点 最 近 的 2 个 点 ,估计 
测 斌 样本 图 像 对 应 的 角度 。 实 验 表明 ， 该 方法 可 以 用 同一 个 人 的 姿势 曲线 估计 
不 同人 的 面部 姿势 ， 克 服 传统 模式 分 类 方法 需要 为 不 同人 建立 不 同 姿势 曲线 的 
缺点 。 

2) 提出 基于 Muhi- PCA 的 眼睛 视线 方向 识别 方法 。 针 对 驾驶 环境 中 精确 提 
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取 人 眼 视线 方向 的 困难 ， 本 书 提出 采用 Multi- PCA 识别 驾驶 员 5 类 眼睛 视线 方向 
的 方法 。 首 先 ， 为 每 类 人 眼 视线 方向 分 别 建立 特征 空间 。 然 后 ， 以 测试 样本 在 
每 类 特征 空间 下 的 重 构 误差 来 实现 分 类 。 实 验证 明 ， 该 方法 充分 应 用 了 PCA 的 
最 佳 逼 近 性 和 每 类 视线 方向 的 独 有 特征 ， 获 得 了 比 常用 PCA 方法 更 高 的 识别 率 。 

3) 提出 根据 手 部 位 置 标准 差 来 识别 驾驶 员 转 向 行为 的 方法 。 针 对 检测 系统 
会 把 驾驶 员 转 向 行为 误 识 为 视觉 分 散 的 缺点 ， 提 出 对 驾驶 员 转 向 行为 进行 识别 。 
根据 转向 时 驾驶 员 双 手 位置 变 化 剧烈 的 特点 ， 提 出 利用 双手 位 置 标准 差 来 识别 
驾驶 员 转 向 行为 的 方法 。 

4) 提出 了 基于 图 像 分 区 垂直 积分 投影 的 车 道 线 检 测 方法 。 首 先 ， 对 道路 图 
像 进行 预 处 理 ， 提 出 了 基于 邻 域 主 成 分 分 析 法 的 图 像 平 滑 方法 。 为 增强 图 像 对 
比 度 ， 作 者 提出 了 基于 Sin 函数 的 图 像 拉 伸 曲 线 。 根 据 分 区 图 像 中 车 道 标志 线 投 
影 关 系 寻 找 车 道 线 边 缘 点 。 针 对 投影 曲线 平滑 后 曲线 轮廓 易 改 变 的 缺点 ， 提 出 
了 新 平滑 方法 ， 该 方法 能 在 保持 原始 投影 曲线 形状 基本 不 变 的 前 提 下 进行 平滑 。 

尽管 对 基于 视频 图 像 分 析 的 驾驶 员 视 觉 分 散 检测 的 研究 取得 了 一 些 成 果 ， 
但 由 于 时 间 与 条 件 的 限制 ， 作 者 认为 还 需要 在 以 下 几 个 方面 作 进一步 的 研究 和 
完善 : 

1) 文中 主要 在 均匀 光照 的 情况 研究 了 驾驶 员 视觉 分 散 特征 的 提取 方法 ， 为 
增强 检测 系统 的 鲁 棒 性 ， 还 需要 研究 光照 变化 对 特征 提取 的 影响 。 如 偏光 、 阴 
影 情 况 时 的 特征 提取 。 

2) 本 书 重点 对 视觉 分 散 的 检测 算法 进行 研究 ， 为 在 实际 中 应 用 ， 需 要 进 一 
步 研 究 检 测 系统 的 实时 性 。 如 研究 驾驶 员 面 部 、 眼 睛 区 域 跟踪 ， 考 虑 采用 基于 
DSP 等 芯片 的 检测 系统 。 

3) 本 书 主要 应 用 面部 姿势 作为 驾驶 员 视觉 分 散 的 判断 依据 ， 还 需要 进一步 
研究 眼睛 视线 方向 与 面部 姿势 间 的 关系 ， 并 提高 眼睛 视线 方向 的 提取 精度 ， 如 
采用 高 分 辨 摄像 机 以 获取 高 质量 图 像 ， 再 开发 驾驶 环境 中 可 行 的 提取 方法 。 

4) 由 于 人 员 个 体 差异 及 驾驶 习惯 不 同 ， 导 致 人 体 疲劳 时 各 检测 指标 可 能 不 
同 ， 需 进一步 完善 检测 指标 与 驾驶 员 疲 劳 程 度 之 间 的 量化 关系 ， 以 提高 疲劳 检 
测 系统 的 准确 率 。 
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Fl 2005 年 读 博 士 以 来 ,我 就 从 事 驾 驶 员 注 意 分 散 检测 研究 的 相关 工作 。 
10 年 来 对 驾驶 员 注 意 分 散 进行 了 大 量 人 研究 ， 也 积累 了 很 多 成 果 。 本 书 内 容 主要 
来 自 于 我 的 博士 论文 与 朱 淑 亮 博 士 论文 的 部 分 章节 ， 以 及 两 位 博士 的 最 新 研究 
内 容 。 

在 过 去 的 日 子 里 ， 从 学 习 科 研 到 日 常生 活 ， 得 到 了 众多 老师 、 同 学 、 朋 友 
和 家 人 的 关怀 与 帮助 ， 这 是 最 为 值得 珍惜 的 财富 ,我 将 永远 铭记 于 心 。 在 此 ， 
我 要 向 所 有 帮助 、 关 心 过 我 的 人 致 以 诚 丽 的 谢意 ! 

感谢 齐鲁 工业 大 学 的 陈 兆 强 老师 及 原 山 东 轻 工业 学 院 的 高 立 营 、 陈 向 东 、 
王涛 、 张 青 等 同学 ， 他 们 为 实验 样本 的 采集 付出 了 艰辛 劳动 。 

衷心 感谢 我 的 家 人 和 亲友 ， 特 别 是 我 的 爱人 李 春 玲 女 士 ， 感谢 他 们 多 年 来 
在 生活 和 精神 上 给 予 我 的 无 私 关爱 和 支持 ， 对 他 们 的 感激 之 情 无 法 用 语言 表达 ， 
我 只 有 努力 工作 ， 用 更 大 的 成 就 来 回报 他 们 的 殷切 期 望 ， 献 上 我 最 真心 的 感谢 ! 

本 著作 是 国家 自然 科学 基金 〈 项 目 编号 : 51375275) 、 山 东 省 高 等 学 校 科技 
计划 (编号; J14LB01) 项 目的 阶段 性 成 果 ， 并 得 到 齐鲁 工业 大 学 特色 名 校 建设 
项 目的 支持 ， 在 此 一 并 表示 感谢 。 著 作 由 齐鲁 工业 大 学 的 路 玉 峰 博士 与 烟台 大 
学 的 朱 淑 亮 博士 合作 完成 。 
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本 书 从 视觉 分 散 对 驾驶 员 驾 驶 性 能 的 影响 研究 人 手 ， 开 展 驾驶 员 视觉 分 散 检测 技术 
研究 ， 并 重点 研究 基于 视频 图 像 分 析 的 驾驶 员 视觉 分 散 特征 的 提取 方法 。 主 要 研究 内 容 : 
(1) 研究 视觉 分 散 对 驾驶 性 能 的 影响 。 (2) 研究 多 姿势 下 营 驶 员 面 部 、 面 部 特征 点 精确 定 
位 的 方法 。 (3) 研究 敬 驶 员 面 部 姿势 的 提取 方法 ， 提 出 利用 核 主 元 分 析 估 计 各 驶 员 面 部 姿 
势 的 方法 。(4) 研究 驾驶 员 视 线 方向 提取 方法 ， 提 出 基于 Multi-PCA ( 多 主 元 分 析 ) 的 视线 
方向 估计 方法 。 (5) 研究 驾驶 员 转 向 行为 识别 ， 提 出 根据 手 部 位 置 标准 差 来 识别 各 驶 员 转 
向 行为 的 方法 。 (6 ) 根据 视觉 分 散 检测 模型 建立 驾驶 员 视 觉 分 散 检 测 系统 的 软 、 硬 件 框 
架 ， 并 进行 视觉 分 散 检测 的 实验 研究 。 
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